CN102714697B - 图像处理装置、图像处理方法及程序 - Google Patents

Abstract

本发明的图像处理装置具有：移动量估计部（22），使用从第1图像和在时间上在第1图像之后拍摄的第2图像分别抽取的特征点，估计表示第2图像相对于第1图像的位置偏移的移动量；判定部（23），根据所抽取的特征点进行是否使用由移动量估计部（22）估计出的所述移动量进行校正的判定；以及图像校正部（24），在由判定部（23）判定为使用移动量进行校正的情况下，使用所述移动量来校正第2图像相对于第1图像的位置偏移，由此校正在时间上连续拍摄的多个图像间的位置偏移。

Description

图像处理装置、图像处理方法及程序

技术领域

本发明涉及利用数字照相机、视频摄像机、可佩戴式摄像机等拍摄的影像的校正技术。

背景技术

例如，有通过图像处理对使用鱼眼光学系统等超广角光学系统拍摄的影像的抖动（图像间的位置偏移）进行校正的方法。该方法是使用在时间上连续拍摄的两张图像，利用在图像间共同摄入的对象的信息来检测以MPEG技术等为代表的运动矢量，由此估计帧间（图像间）的摄像机的抖动并进行校正的方法。在这样利用运动矢量的方法中，基于利用图像的区域来检测运动矢量这种算法的性质，在精度和计算成本方面存在限制。因此，能够检测的摄像机的抖动的大小的上限被事前设定，针对例如在步行时拍摄的影像和以无取景器方式拍摄的影像所包含的抖动那样较大的抖动，无法进行检测。即，利用运动矢量的方法存在具有无法处理的大小的抖动、而且对这种大小的抖动无法进行校正的问题。

与此相对，作为能够进行利用运动矢量的方法所无法处理的大小的抖动的校正的方式，有基于特征点的匹配方法。该方法利用了共同存在于在时间上连续拍摄的两张图像间的被摄体上的几个特征性的点。

在此，对基于特征点的匹配方法（也记述为特征点匹配）进行具体说明。

图1A～图1D是用于说明基于特征点的匹配方法的图。下面，将两张图像中在时间上先拍摄的图像表述为图像t－1，将在时间上后拍摄的图像表述为图像t。

图1A是表示图像t－1和在时间上比图像t－1靠后拍摄的图像t的图。图1B是表示从图1A所示的图像t－1、图像t抽取的特征点的图。图1C是表示从图1B所示的图像t－1、图像t抽取的特征点的性质的类型的图。图1D是表示从图1B所示的图像t－1、图像t抽取的特征点的匹配的图。其中，特征点是指如上所述通过图像处理能够检测到的图像上的特征性的点。

图1A所示的图像t－1、图像t上的对比度较高的像素被选择为图1B所示的特征点。如图1B所示，位于诸如对比度极高的角落的特征点在图像间（图像t－1和图像t）容易被共同抽取出来，而对比度不那么高的特征点在图像间（图像t－1和图像t）不容易被共同抽取出来。

图1B所示的特征点包括：能够从在图像间（图像t－1和图像t）共同摄入的区域中得到的特征点（图1C中用○示出的特征点）；虽然能够从在图像间（图像t－1和图像t）共同摄入的区域中得到，但是位置在图像间（图像t－1和图像t）发生变化的特征点（图1C中用△示出的特征点）。另外，在图1B所示的特征点中也包括能够从在图像间（图像t－1和图像t）未共同摄入的区域中得到的特征点（图1C中用×示出的特征点）。图1B所示的特征点中能够匹配的特征点是能够从在图像间（图像t－1和图像t）共同摄入的区域中得到的特征点（图1C中用○示出的特征点）。

但是，能够从在图像间（图像t－1和图像t）共同摄入的区域中得到的特征点的位置或比率在匹配之前是未知的，因而哪个特征点是能够从在图像间（图像t－1和图像t）共同摄入的区域中得到的特征点也是未知的。因此，使用RANSAC（RANdomSampleConsensus：随机采样一致性）等方法，从在图像t－1中抽取的特征点和在图像t中抽取的特征点选出各个特征点的组合，利用事前设定的评价函数求出各个特征点的组合的评价值（图1D）。该评价值被设计为当是能够从在图像间（图像t－1和图像t）共同摄入的区域中得到的特征点的组合（下面表述为inlier：内层）时使评价值容易变高。

具体地讲，根据从在图像t－1中抽取的特征点和在图像t中抽取的特征点选择的两组特征点的组合，生成旋转矩阵。并且，为了验算所生成的旋转矩阵是否正确，使除所选择的特征点的组合之外的图像t－1的特征点按照所生成的旋转矩阵进行旋转，确认旋转后的图像t－1的特征点是否与图像t的特征点一致。如果旋转后的图像t－1的特征点与图像t的特征点一致，可知所生成的旋转矩阵表示正确的图像间的抖动量（位置偏移的程度）的可能性比较大，因而设定将该一致程度作为评价值的评价函数。在使用该评价函数进行规定次数搜索的阶段中断搜索，使用在该时刻得到了最大评价值的inlier来估计旋转矩阵。另外，该inlier是指诸如在图1C中用○示出的特征点那样共同存在于图像间的特征点，主要是能够从拍摄到的图像内的远景区域中得到的特征点。并且，使用从作为远景特征点的inlier估计出的旋转矩阵来校正图像的抖动。

通常通过这种处理来进行特征点匹配。即，特征点匹配是指这样的方法，即对在图像间（图像t－1和图像t）产生的抖动反复进行搜索，使得能够从在图像t－1和图像t中共同摄入的区域中得到的图像t－1的特征点的分布和图像t的特征点的分布尽可能一致，并且是将能够从在图像t－1和图像t中共同摄入的区域中得到的特征点分布最一致时的移动量估计为图像间（图像t－1和图像t）的抖动量的方法。并且，通过进行这种特征点匹配，并以每个图像单位持续估计在图像间（帧间）产生的抖动量，由此能够使用估计出的抖动量来校正影像（每个图像）的抖动。

另外，在特征点匹配中，作为通常的算法的特性具有如下特征，即由于利用特征点分布中的图像间（帧间）的相似性，因而与利用处理图像的局部区域信息的运动矢量的方法相比，计算成本降低。另外，在特征点匹配中，由于能够进行使用图像整体的特征点的匹配，因而能够进行某种程度上的较大抖动量的估计。因此，通过应用特征点匹配，即使是在步行时拍摄的影像或以无取景器方式拍摄的影像所包含的较大的抖动，也能够进行估计。即，在特征点匹配中，能够校正利用运动矢量的方法所不能处理的大小的抖动。

另外，例如在进行使用鱼眼光学系统拍摄的影像的抖动的校正的情况下，根据在鱼眼光学系统中采用的投影方式不同，来自外界的光向透镜入射的路径发生变化，因而需要进行与鱼眼光学系统所采用的投影方式对应的坐标变换。这是因为在通过图像处理来估计图像间（帧间）的摄像机的抖动量的情况下，需要知道摄像机相对于外界是如何运动的。换言之，为了求出正确的摄像机的抖动量，需要知道各个像素是从外界的哪个位置得到的。因此，在利用运动矢量等来估计抖动量的情况下、和利用特征点匹配来估计抖动量的情况下，都需要在估计之前考虑坐标变换。

例如，在专利文献1中，关于用鱼眼光学系统拍摄的影像的抖动量的估计方法，公开了利用图像处理的运动矢量进行计算的方法。

现有技术文献

专利文献

专利文献1：日本特开2006－295626号公报

发明概要

发明要解决的问题

但是，不限于特征点匹配，在利用图像处理来估计抖动量的情况下，有时也对诸如通过图像处理无法估计出抖动量的图像进行校正，存在影像质量恶化的情况。

下面，对是否能够从图像估计出抖动量与摄入图像中的被摄体的内容的依赖关系（依赖于被摄体的问题）进行说明。

图2A是表示图像产生了模糊(blur)的示例的图，图2B是表示图像没有特征的示例的图，图2C是表示图像具有周期性的图案的示例的图。

例如，在如图2A所示图像中存在模糊的情况下，在特征点匹配或者运动矢量中直接使用的像素值的数值由于模糊而变迟钝。因此，导致利用这些图像处理估计的抖动量的估计精度下降。根据情况还会导致不能进行抖动量的估计。另外，在如图2B所示图像中存在没有摄入特征性的被摄体的情况下，对于特征点匹配或者运动矢量所执行的图像处理成为线索的那种图像的特征较少。因此，与图2A相同地，利用这些图像处理估计的抖动量的估计精度下降。并且，根据情况还会导致不能进行抖动量的估计。另外，如图2C所示，例如在地面的地砖等在图像中具有周期性图案（纹理）的情况下，由于在其周边具有相似特征的图像，因而对于特征点匹配或者运动矢量所执行的图像处理成为线索的那种图像的特征存在许多个，而所存在的许多个线索的内容又相似。因此，很难确定出利用这些图像处理而估计出的抖动量的唯一的值，不能估计出准确的抖动量。

在上述图2A～图2C中说明的示例，只要是利用图像信息进行处理即通过图像处理来估计抖动量，就无法避免。另外，上述专利文献1所记载的估计方法没有考虑到诸如这种图2A～图2C所示的图像的对应关系。

另外，在针对包括图2A～图2C所示的图像的场景应用运动矢量等方法的情况下，不仅精度下降，也存在诸如影像质量比不进行校正时恶化的情况。

发明内容

本发明正是鉴于上述情况而提出的，其目的在于，提供一种图像处理装置、图像处理方法及程序，即使是包括诸如在图像处理中不能进行抖动量的估计的图像，也能够高精度地校正在时间上连续拍摄的多个图像间的抖动量。

用于解决问题的手段

为了达到上述目的，本发明的图像处理装置的一个方式是一种图像处理装置，用于校正在时间上连续拍摄的多个图像间的位置偏移，该图像处理装置具有：移动量估计部，使用从第1图像和在时间上在所述第1图像之后拍摄的第2图像分别抽取的特征点，估计表示所述第2图像相对于所述第1图像的位置偏移量的移动量；判定部，根据所述特征点进行是否使用由所述移动量估计部估计出的所述移动量进行校正的判定；以及图像校正部，在由所述判定部判定为使用所述移动量进行校正的情况下，使用所述移动量来校正所述第2图像相对于所述第1图像的位置偏移，由此校正所述多个图像间的位置偏移。

根据这种结构，能够根据所述特征点，由基于特征点的匹配处理过程中能够取得的图像信息判定是否是不适合图像处理的图像。因此能够实现这样的图像处理装置，即使是包括诸如在图像处理中不能进行抖动量的估计的图像，也能够高精度地校正在时间上连续拍摄的多个图像间的抖动量。

另外，本发明不仅能够实现为装置，而且也能够实现为具有这种装置具备的处理单元的集成电路，也能够实现为将构成该装置的处理单元作为步骤的方法，还能够实现为使计算机执行这些步骤的程序，还能够实现为表示该程序的信息、数据或者信号。并且，这些程序、信息、数据以及信号可以通过CD－ROM（Compact－Disc－ReadOnlyMemory）等记录介质或因特网等通信介质进行发布。

发明效果

根据本发明，能够实现这样的图像处理装置、图像处理方法、程序及摄影装置，即使是包括诸如在图像处理中不能进行抖动量的估计的图像，也能够高精度地校正在时间上连续拍摄的多个图像间的抖动量。

附图说明

图1A是用于说明基于特征点的匹配方法的图。

图1B是用于说明基于特征点的匹配方法的图。

图1C是用于说明基于特征点的匹配方法的图。

图1D是用于说明基于特征点的匹配方法的图。

图2A是表示图像产生了模糊的示例的图。

图2B是表示图像没有特征的示例的图。

图2C是表示图像具有周期性图案的示例的图。

图3是表示本发明的实施方式1的整体结构的框图。

图4是表示本发明的实施方式1的移动量估计部的结构的框图。

图5是表示本发明的实施方式1的判定部23的结构的框图。

图6是表示将用广角光学系统拍摄的图像从二维投影为三维的图。

图7是表示被投影为三维的图像t－1、图像t的特征点的示例的图。

图8是表示在没有模糊的情况下使被投影为三维的图像t－1、图像t的特征点重合的图。

图9是表示在有和没有模糊的情况下被投影为三维的特征点的位置偏移的示例的图。

图10是表示在有模糊的情况下使被投影为三维的图像t－1、图像t的特征点重合的示例的图。

图11是表示纹理区域的特征点的图。

图12是用于说明在纹理区域中很难在图像t－1和图t中选择共同的特征点的图。

图13是表示在具有纹理区域时特征点分布的一致度因每个特征点而不同的图。

图14是表示纹理的搜索区域的图。

图15是用于说明本发明的实施方式1的图像处理装置20的处理流程的流程图。

图16是用于说明本发明的实施方式1的图像处理装置20的处理流程的流程图。

图17是表示本发明的实施方式2的整体结构的框图。

图18是用于说明本发明的实施方式2的图像处理装置30的处理流程的流程图。

具体实施方式

下面，参照附图说明本发明的实施方式。

（实施方式1）

图3是表示本发明的实施方式1的整体结构的框图。

摄像部10例如是数字照相机或数字摄像机等、具有CCD或CMOS传感器等摄像元件的摄像机，用于拍摄影像并作为电信号输出。

图像处理装置20是用于校正在时间上连续拍摄的多个图像间的位置偏移的图像处理装置，具有图像取得部21和图像处理部20a。

图像取得部21取得处理对象的图像数据。具体地讲，图像取得部21取得由摄像部10在时间上连续拍摄的多个图像中的第1图像（图像t－1）、和在第1图像（图像t－1）的时间之后拍摄的第2图像（图像t）这两张图像数据。

其中，图像t－1是第1图像的示例，图像t是第2图像的示例。并且，为了简化说明，假设图像t－1（第1图像）是在时间序列中紧挨图像t（第2图像）前面拍摄的图像，图像t是在刚刚拍摄了图像t－1之后拍摄的图像。该图像t－1和图像t的图像数据可以是以通常的JPEG形式进行压缩编码的图像数据，也可以是以MPEG4等动态图像形式记录的图像数据。

图像处理部20a具有移动量估计部22、判定部23、图像校正部24，对由图像取得部21取得的图像数据进行处理。

移动量估计部22如图4所示具有特征点抽取部221、特征点坐标变换部222、特征点匹配部223、存储器224，移动量估计部22使用从第1图像和第2图像分别抽取的特征点，估计表示在时间上在第1图像之后拍摄的第2图像相对于第1图像的位置偏移量的移动量。另外，图4是表示本发明的实施方式1的移动量估计部22的结构的框图。

特征点抽取部221从第1图像抽取第1特征点，从所述第2图像抽取第2特征点。具体地讲，特征点抽取部221被输入由图像取得部21取得的图像t－1和图像t，并进行所输入的图像t－1和图像t的特征点的抽取，分别生成特征点数据t－1和特征点数据t。

此处所说的特征点，如上所述，是指通过图像处理能够检测到的图像上的特征性的点，例如图像中的纵向、横向的边缘均明显突出的边缘交叉的点、在局部(local)附近存在朝向两个不同的方向的醒目边缘的点等。优选特征点是能够从在时间序列中相连续的图像t－1和图像t这两张图像间共同摄入的点中稳定检测到的特征点（inlier）。但是，在特征点抽取部221抽取特征点时不知道图像t－1和图像t的准确的位置关系。因此，需要使用某种基准来抽取共同存在的特征点。

下面，对为了抽取共同存在的特征点而采用的基准进行说明。

例如，在抽取特征点时采用Harris的情况下，将图像的边缘作为基准来抽取诸如纵向、横向的边缘交叉的角落点。

具体地讲，特征点抽取部221按每个像素计算表示边缘的交叉度的特征点分数(score)，由此抽取上述的角落点。其中，从理论上讲，存在由特征点抽取部221按每个像素计算的特征点分数。但是，当在嵌入系统等具有资源限制的环境下安装图像处理装置20的情况下，存在在后级的特征点匹配部223的匹配处理中使用的特征点数量具有上限的情况。考虑到这种情况，从计算成本和运算精度的方面考虑，不期望特征点匹配部223使用由特征点抽取部221计算的全部特征点进行匹配处理。因此，优选将按照特征点分数从高到低的顺序达到规定数量的特征点用作特征点来进行匹配处理。

在此，对优选将按照特征点分数从高到低的顺序达到规定数量的特征点用作特征点的原因进行说明。在Harris中使用的边缘反映了图像的对比度（亮度值）变化，因而在照明条件多少变化的情况下，图像的对比度被保存，边缘不消失。即，因为除了边缘自身由于遮挡而被障碍物等遮住而消失的情况之外，边缘在图像间（图像帧之间）消失的可能性比较小。因此，以边缘信息为基础的特征点分数较高的点作为特征点共同存在于图像t－1和图像t中的可能性比较大。

根据以上的说明，在使用特征点分数作为用于抽取共同存在的特征点的基准的情况下，特征点抽取部221抽取分数比某个特定的阈值高的特征点。在此，在使用特征点分数来抽取特征点的情况下，上述特定的阈值可以利用图像内的平均分数的值，也可以利用根据时间序列中的多个图像的分数的平均值等确定的值。另外，关于上述特定的阈值，不一定是在图像整体中使用一个阈值，也可以采用按照每个区域而生成的阈值。另外，这种按照每个区域而生成的阈值可以根据一个图像来确定，也可以利用时间序列中的多个图像来确定。

另外，特征点分数也可以根据进行了某个对象的识别时的对象的分数来确定。

另外，关于实现该特征点抽取部221的代表性方法，除此之外还有SIFT、SURF等方法。

特征点坐标变换部222将由特征点抽取部221抽取的第1图像的第1特征点和第2图像的第2特征点的坐标变换为与鱼眼光学系统的投影方式对应的坐标。具体地讲，当在时间上连续拍摄的多个图像是使用鱼眼光学系统拍摄的情况下，特征点坐标变换部222进行将所拍摄的多个图像的特征点的坐标变换为鱼眼光学系统采用的投影方式对应的坐标。

之所以进行这种坐标变换，是因为例如从输入图像得到的特征点坐标的位置和在外界的位置根据鱼眼光学系统的超广角光学系统采用的投影方式而不同，为了根据图像估计正确的摄像机的抖动量，需要使从输入图像得到的特征点坐标的位置与在外界的位置一致。因此，特征点抽取部221对从输入图像得到的特征点的坐标进行投影变换的逆变换，并计算各个特征点在外界的位置。另外，这种坐标变换至少是对从特征点匹配部223得到的远景特征点（inlier）的坐标进行的，但不限于仅针对远景特征点（inlier）的坐标的坐标变换，也可以进行图像整体的坐标变换。

另外，当在时间上连续拍摄的多个图像不是使用包括鱼眼光学系统的广角光学系统拍摄的情况下，特征点坐标变换部222不进行处理。在这种情况下，可以将由特征点抽取部221抽取的第1图像的第1特征点和第2图像的第2特征点直接输入特征点匹配部223。

特征点匹配部223利用由特征点坐标抽取部221抽取的第1图像的第1特征点和第2图像的第2特征点进行匹配，由此估计表示第2图像相对于第1图像的位置偏移量的移动量。另外，当在时间上连续拍摄的多个图像是使用鱼眼光学系统拍摄的情况下，特征点匹配部223利用由特征点坐标变换部222进行变换后的坐标的第1特征点和第2特征点进行匹配，由此估计表示所述第2图像相对于所述第1图像的位置偏移量的移动量。

具体地讲，特征点匹配部223进行图像t－1的特征点数据t－1与图像t的特征点数据t之间的匹配即对应关系的估计。其中，假设特征点数据t－1采用在前一帧期间中特征点抽取部221从图像t－1抽取并存储在例如存储器224中的特征点数据。并且，假设特征点数据t采用在当前帧期间中特征点抽取部221从图像t抽取的特征点数据t。

特征点匹配部223使用这些特征点数据t－1和特征点数据t，进行估计表示在图像t－1和图像t之间产生的摄像机的运动的旋转矩阵。在此，旋转矩阵的计算方法采用RANSAC（RANdomSampleConsensus：随机采样一致性）等方法。从该旋转矩阵得到表示在帧间即图像间产生的摄像机的抖动量的roll(滚动)、pitch(俯仰)、yaw(偏转)的旋转成分。另外，在对旋转矩阵的估计失败的情况下，对roll、pitch、yaw设定0，视为在图像之间没有旋转。

移动量估计部22是如上所述构成的。

判定部23如图5所示具有特征点判定部231、模糊判定部232、纹理判定部233，判定部23根据所抽取的特征点进行是否使用由移动量估计部22估计出的移动量进行校正的判定。在此，图5是表示本发明的实施方式1的判定部23的结构的框图。

判定部23在根据所抽取的特征点判定为由移动量估计部22估计出的移动量表示第2图像相对于第1图像的位置偏移量（抖动量）的情况下，判定为使用由移动量估计部22估计出的移动量进行校正。具体地讲，判定部23根据从图像得到的信息判定是不适合进行图像处理的场景，即判定是包括在图像处理中不能估计出摄像机的抖动量的图像的场景。并且，判定部23在判定是包括在图像处理中不能估计出摄像机的抖动量的图像的场景的情况下，控制图像校正部24使不进行图像处理。

作为包括在图像处理中不能估计出摄像机的抖动量的图像的场景的示例，有如图2A所示图像中存在模糊的情况、如图2B所示图像中没有摄入特征性的被摄体的情况、如图2C所示例如地面的地砖等具有周期性图案（纹理）的情况等。下面，说明判定部23对这些情况的判定方法。

首先，对图2A所示的图像中存在模糊的图像的判定方法进行说明。图6是表示将用广角光学系统拍摄的图像从二维投影为三维的图。图7是表示被投影为三维的图像t－1、图像t的特征点的示例的图。图8是表示在没有模糊的情况下使被投影为三维的图像t－1、图像t的特征点重合的图。图9是表示在有和没有模糊的情况下被投影为三维的特征点的位置偏移的示例的图。图10是表示在有模糊的情况下使被投影为三维的图像t－1、图像t的特征点重合的示例的图。

模糊判定部232根据特征点匹配的构架来判定存在模糊的图像。下面，对其方法进行说明。

在从二维（x、y）图像求出三维信息即旋转运动（roll、pitch、yaw）时或者求出三维信息之后，将特征点投影到三维空间中，由此能够从被投影到三维空间中的特征点确认特征点的分布的关系。具体地讲，首先将如图6所示抽取了特征点的二维的图像投影到三维空间中。其中，图6（a）表示作为典型示例的使用鱼眼光学系统拍摄的图像、而且是抽取了特征点的图像，图6（b）表示被投影为三维坐标的特征点的分布。之所以进行这种坐标变换，如上所述是为了求出在二维（x、y）的图像平面上不能求出的三维信息即旋转运动（roll、pitch、yaw），另外在从输入图像得到的特征点坐标的位置和在外界的位置根据鱼眼光学系统采用的投影方式而不同的情况下，进行考虑了投影方式的位置偏移的校正。即，这种坐标变换是为了从图像估计出正确的摄像机的抖动量的旋转运动而进行的。在此，为了使从输入图像得到的特征点坐标的位置与在外界的位置一致，还进行投影变换。并且，这种坐标变换不限于鱼眼光学系统，对于光学系统（透镜）的畸变(distortion)的校正也有用。另外，使用所求出的旋转运动将特征点投影到三维空间中，由此根据被投影到三维空间中的特征点得知特征点的分布的关系。

在使用这种方法将特征点投影为三维坐标后，模糊判定部232根据由移动量估计部22估计出的产生于图像间（帧间）的摄像机的抖动量（移动量），确认图像间（帧间）的特征点的分布的关系。

在此，在作为抖动校正处理的对象的图像中不存在模糊的情况下，图像间（帧间）的图像的对比度被保存，因而如图7所示在图像t－1和图像t中图像间（帧间）的特征点的分布相似。因此，在由移动量估计部22估计出正确的抖动量（移动量）的情况下，图8（a）所示的状态变为图8（b）所示的状态，图像t－1和图像t的特征点的分布大致一致。另一方面，在作为抖动校正处理的对象的图像中存在模糊的情况下，不保存图像间（帧间）的图像的对比度。因此，在图像t中图像的对比度由于模糊的影响而降低，因而得到与没有模糊时的特征点的分布不同的特征点的分布，具体地讲是得到如图9所示图像间（帧间）的特征点的分布的相似度较低的分布。在使用这种相似度较低的特征点的分布来估计图像间（帧间）的摄像机的抖动量（移动量）的情况下，图10（a）所示的状态变为图10（b）所示的状态，不能估计出正确的抖动量。即，图像t－1和图像t的特征点的分布的一致度降低。

利用这种特性，模糊判定部232能够使用特征点的分布的一致度大致判定在图像间（帧间）的图像中是否产生了模糊。

如上所述，模糊判定部232大致判定在图像中是否产生了模糊。具体地讲，也可以是，模糊判定部232例如计数处于各个特征点的一致度在一定以内的距离处的特征点的个数，在该特征点的个数少于阈值时判定为存在模糊。并且，也可以是，模糊判定部232计测各个特征点的一致度，在其合计值多于阈值时判定为存在模糊。另外，还可以计测各个特征点的移动方向，利用该移动方向的分散性进行判定。

如上所述，模糊判定部232将从第1图像抽取的第1特征点和从第2图像抽取的第2特征点的坐标投影为三维坐标，并判定投影得到的三维坐标上的第1特征点的特征点分布与第2特征点的特征点分布的一致度是否高于规定的一致度，在判定为该一致度高于规定的一致度的情况下，判定为使用由移动量估计部22估计出的移动量进行校正。

另外，在图像处理装置20能够取得摄像机的快门速度的情况下，模糊判定部232也可以根据快门速度的快慢来判定有无模糊。

下面，对如图2B所示图像中没有摄入特征性的被摄体的图像的判定方法进行说明。

特征点判定部231判定在第1图像或者第2图像中抽取的特征点的数量是否多于规定的数量。特征点判定部231在判定为在第1图像或者第2图像中抽取的特征点的数量多于规定的数量的情况下，判定为使用由移动量估计部估计出的移动量进行校正。具体地讲，特征点判定部231根据输入图像计算边缘信息，在具有特定以上的边缘强度的像素的数量小于阈值的情况下，判定为没有摄入特征性的被摄体。

另外，特征点判定部231也可以进行是否摄入了特定对象(object)的检测，根据有无该特定对象来判定是否摄入了特征性的被摄体，特征点判定部231还可以将图像分割为多个区域，按每个区域检查亮度值的分散性，根据其分散值的大小来判定是否摄入了特征性的被摄体。

下面，对如图2C所示例如地面的地砖等具有周期性图案（纹理）的图像的判定方法进行说明。图11是表示纹理区域的特征点的图。图12是用于说明在纹理区域中很难在图像t－1和图t中选择共同的特征点的图。图13是表示在具有纹理区域时特征点分布的一致度因每个特征点而不同的图。图14是表示纹理的搜索区域的图。

纹理判定部233如图像中存在模糊时那样根据特征点匹配的构架进行判定。下面，对采用该方法的背景进行说明。

如果无论图像中是否具有周期性图案（纹理），特征点匹配部223都使用所抽取的全部特征点进行处理，则如上所述将导致计算成本极高。因此，实际上从这些抽取的特征点中缩小范围(精简)至几个代表性的特征点进行处理。

在这样精简后的特征点中存在如图1C所示的用○、△、×表示的特征点，用○表示的图像间（帧间）共同的特征点（inlier）越多，越能够稳定地估计图像间（帧间）的摄像机的抖动量（移动量）。相反，用△和×表示的特征点越多，对摄像机的抖动量（移动量）的估计失败的可能性越大。因此，为了稳定地估计摄像机的抖动量（移动量），在精简特征点的个数的过程中保留较多的用○表示的特征点（inlier）很重要。

但是，在这样精简特征点的个数的过程中成为问题的是纹理区域的特性，即具有相似的高对比度的像素周期性地存在。例如，如图11（a）所示，例如在地面的地砖等的纹理区域中具有相似的高对比度的像素周期性地排列，因而利用了这种对比度信息的特征点如图11（b）所示是从纹理区域中抽取了许多。

可是，如果图像中不存在纹理区域，则具有高对比度的像素在图像内是有限的，因而即使精简特征点的个数也容易保留共同存在于帧间的用○表示的特征点（inlier），所以特征点匹配部223能够估计出在图像间（帧间）产生的摄像机的抖动量（移动量）。

另一方面，当图像中存在纹理区域的情况下，由于在图像内存在许多具有高对比度的像素，因而如图12所示能够从纹理区域得到的特征点占主流，如图13所示能够选择许多在图像间（帧间）非共同的用△表示的特征点。这是由于下述情况而产生的，即摄像机的抖动量（移动量）或所摄入的被摄体的内容不是已知的，而且用于识别被摄体的重大线索即特征点的对比度值在纹理内是相似的，因而不存在用于精简特征点的基准，不能判定可以精简为哪个特征点。

因此，当图像中存在纹理区域的情况下，如果特征点匹配部223使用所抽取的特征点进行匹配，则存在错误估计图像间（帧间）的摄像机的抖动量（移动量）的情况。这种错误估计也依赖于如何定义特征点的一致度，但通常例如在图8（b）中，将估计抖动量（移动量）后的图像t－1的特征点与图像t的特征点之间的距离为一定距离以下的点的个数设定为一致度。因此，在图像t－1的特征点与图像t的特征点之间的距离为一定距离以下的点的个数较多的情况下，纹理判定部233判定为匹配成功，即判定为使用由移动量估计部22估计出的移动量进行校正。

另外，图8表示当在图像间（帧间）没有产生模糊等误差原因的情况下，实际上也多少存在某种程度的模糊或某种程度的误差。因此，作为满足图像t－1的特征点与图像t的特征点之间的距离的基准而设定最小距离，将满足该设定的最小距离的特征点视为表示摄像机的抖动量（移动量）的特征点。但是，在如图13（a）所示存在许多个位置在图像间变化的特征点△的情况下，实际上不表示摄像机的抖动量（移动量）的特征点如图13（b）所示，根据最小距离的设定，有时被视为表示摄像机的抖动量（移动量）的特征点。即，如前面说明的那样，当图像中存在纹理区域的情况下，将成为错误估计摄像机的抖动量（移动量）的原因。

基于这种背景，纹理判定部233判定有无成为这种错误判定的原因的纹理，由此判定由移动量估计部22估计出的移动量是否表示第2图像相对于第1图像的位置偏移量（抖动量）。

具体地讲，纹理判定部233利用在使用鱼眼光学系统等广角光学系统拍摄的影像（图像）中纹理偏向存在于特定区域的趋势（图2C所示的地砖的部分）。

更具体地讲，纹理判定部233能够在由特征点匹配部223进行匹配后取得摄像机的抖动量（移动量），因而能够取得图像间（帧间）的特征点的分布的一致度。在所取得的特征点分布的一致度较高时，认为是能够估计出正确的抖动量的情况（图1C中包含许多○的情况）、和基于纹理的错误估计的情况（图1C中包含许多△的情况）。因此，在所取得的特征点的分布的一致度较高的情况下，将该一致度较高的特征点的分布（inlier的分布）分割为如图14所示的每个区域，确认每个区域的偏向情况。在计算该每个区域的一致度时，在只有一部分区域的一致度较高的特征点的分布（inlier的分布）明显较高（即不均）的情况下，能够判定为有可能受到了纹理的影响。

并且，在这样判定为有可能受到了纹理的影响的情况下，求出周边区域的对比度值，并计测周边区域的对比度相似度。在计测的相似度较高的情况下，可知在相应的区域（不均的区域）中具有纹理。

如上所述，纹理判定部233将从第1图像抽取的第1特征点和从第2图像抽取的第2特征点的坐标投影为三维坐标，在投影得到的三维坐标上的第1特征点的特征点分布与第2特征点的特征点分布的一致度高于规定的一致度的情况下，再对第1图像和第2图像进行区域分割，按照分割出的每个区域确认高于所述规定的一致度的第1特征点和第2特征点的特征点分布（inlier的分布），在该特征点分布（inlier的分布）偏向于分割出的区域中的一部分区域的情况下，判定为不使用由移动量估计部22估计出的所述移动量进行校正。

另外，通过该判定，在判定为有可能存在纹理的情况下，也可以另外使用传感器来估计抖动量（移动量），并进行控制使进行该抖动量（移动量）的校正，还可以对纹理所在的区域施加遮蔽(mask)，将纹理区域去除，然后再次由特征点匹配部223进行匹配并估计摄像机的抖动量（移动量）。另外，也可以采用诸如按照时间序列来利用该结果，持续对纹理区域施加遮蔽，并去除纹理的影响的控制方法。

如上所述构成的判定部23根据所抽取的特征点，进行是否使用由移动量估计部22估计出的移动量进行校正的判定。

另外，模糊判定部232和纹理判定部233进行坐标变换，即将从第1图像抽取的第1特征点和从第2图像抽取的第2特征点的坐标投影为三维坐标，然后确认第1特征点的特征点分布与第2特征点的特征点分布的一致度，但不限于此。也可以是，在不是使用鱼眼光学系统拍摄的图像、而且不进行光学系统（透镜）的畸变的校正的情况下，不进行该坐标变换，而是进行后面的处理。

在由判定部23判定为使用移动量进行校正的情况下，图像校正部24使用移动量来校正第2图像相对于第1图像的位置偏移，由此校正多个图像间的位置偏移。具体地讲，图像校正部24使用由特征点匹配部223计算出的校正值（移动量）来校正在图像t－1、图像t的帧间（图像间）产生的摄像机的抖动。图像校正部24使用表示校正量即移动量的参数roll、pitch和yaw进行例如仿射变换等，由此进行图像t相对于图像t－1的抖动的校正。

下面，对如上所述构成的图像处理装置20的处理流程进行说明。

图15和图16是用于说明本发明的实施方式1的图像处理装置20的处理流程的流程图。图16是将图15所示的处理具体化的图。

首先，图像处理装置20由图像取得部21取得处理对象的图像数据。具体地讲，图像取得部21分别读入从摄像部10得到的图像t和图像t－1的图像数据。

然后，移动量估计部22使用从第1图像和第2图像分别抽取的特征点，估计表示在时间上在所述第1图像之后拍摄的所述第2图像相对于所述第1图像的位置偏移量的移动量（S10）。具体地讲，特征点抽取部221从第1图像抽取第1特征点，从第2图像抽取第2特征点（S101）。然后，特征点坐标变换部222将由特征点抽取部221抽取的第1图像的第1特征点和第2图像的第2特征点的坐标变换为与鱼眼光学系统的投影方式对应的坐标（S102）。其结果是，计算出各个特征点在外界的位置。然后，特征点匹配部223利用由特征点抽取部221抽取的第1图像的第1特征点和第2图像的第2特征点进行匹配，由此估计表示第2图像相对于第1图像的位置偏移量的移动量（S103）。

然后，判定部23根据所抽取的特征点判定是否使用由移动量估计部22估计出的移动量进行校正（S20）。具体地讲，首先执行特征点判定。即，特征点判定部231判定在第1图像或者第2图像中抽取的特征点的数量是否多于规定的数量（S201）。特征点判定部231在判定为在第1图像或者第2图像中抽取的特征点的数量多于规定的数量的情况下（S201：通过），进入S202。另外，特征点判定部231在判定为在第1图像或者第2图像中抽取的特征点的数量不多于（即少于）规定的数量的情况下（S201：失败），判定为不使用由移动量估计部22估计出的移动量进行校正，使图像处理装置20的处理结束。然后，进行模糊判定。即，模糊判定部232将从第1图像抽取的第1特征点和从第2图像抽取的第2特征点的坐标投影为三维坐标，并判定在三维坐标上的第1特征点的特征点分布与第2特征点的特征点分布的一致度是否高于规定的一致度（S202）。模糊判定部232在判定为该一致度高于规定的一致度的情况下，判定为使用由移动量估计部22估计出的移动量进行校（S202：通过），进入S203。另外，模糊判定部232在判定为该一致度不高于（即低于）规定的一致度的情况下（S202：失败），判定为不使用由移动量估计部22估计出的移动量进行校正，使图像处理装置20的处理结束。然后，进行纹理判定。即，纹理判定部233将从第1图像抽取的第1特征点和从第2图像抽取的第2特征点的坐标投影为三维坐标，当在三维坐标上的第1特征点的特征点分布与第2特征点的特征点分布的一致度高于规定的一致度的情况下，再对第1图像和第2图像进行区域分割，按照分割出的每个区域确认高于所述规定的一致度的第1特征点和第2特征点的特征点分布（inlier的分布）（S203）。纹理判定部233在该特征点分布（inlier的分布）不偏向于分割出的区域中的一部分区域的情况下（S203：通过），判定为使用由移动量估计部22估计出的所述移动量进行校正，进入S30。另外，纹理判定部233在该特征点分布（inlier的分布）偏向于分割出的区域中的一部分区域的情况下（S203：失败），判定为不使用由移动量估计部22估计出的移动量进行校正，使图像处理装置20的处理结束。

然后，在由判定部23判定为使用移动量进行校正的情况下，图像校正部24使用移动量来校正第2图像相对于第1图像的位置偏移，由此校正多个图像间的位置偏移（S30）。即，在判定部23完成全部判定的情况下，图像校正部24使用由移动量估计部22估计出的移动量（抖动量）来校正影像的抖动。

图像处理装置20按照以上所述进行处理。

这样，图像处理装置20在通过图像处理来估计利用例如鱼眼光学系统拍摄的影像的抖动量时，能够防止由于使用错误地估计出的抖动量对诸如在图像处理中不能进行抖动量的估计的图像进行校正从而使得影像质量恶化的情形。即，即使是包括诸如在图像处理中不能进行抖动量的估计的图像，图像处理装置20也能够高精度地校正在时间上连续拍摄的多个图像间的抖动量，或者避免利用错误的值进行校正，由此提高最终的影像质量。

根据以上所述的本实施方式，能够实现这样的图像处理装置及图像处理方法，即使是包括诸如在图像处理中不能进行抖动量的估计的图像，也能够高精度地校正在时间上连续拍摄的多个图像间的抖动量。

另外，本实施方式的图像处理装置对鱼眼影像等的超广角影像发挥显著效果，因而是优选的应用示例，但不限于此。也能够应用于视场角约为70度以下的通常视场角影像。

另外，在上述的说明中，图像处理装置20具有图像取得部21和图像处理部20a，但不限于此。作为图像处理装置20的最小结构，只要具有图像处理部20a即可。图像处理装置20通过至少具备该图像处理部20a，即使是包括诸如在图像处理中不能进行抖动量的估计的图像，也能够高精度地校正在时间上连续拍摄的多个图像间的抖动量。

（实施方式2）

在实施方式1中，通过由移动量估计部22进行图像处理来计算抖动量（移动量），但不限于此。也可以是，同时利用传感器估计抖动量（移动量）。下面，对于本发明的实施方式2的图像处理装置及图像处理方法，参照附图进行说明。

图17是表示本发明的实施方式2的整体结构的框图。对与图3和图4相同的要素使用相同的标号，并省略说明，仅对不同的构成要素进行说明。

图17所示的本实施方式的整体结构相对于图3所示的实施方式1的整体结构，不同之处在于，还具有传感器估计部31和校正方式确定部32。

传感器估计部31计测围绕在摄影中使用的光学系统的光轴的旋转角度、或者围绕相对于所述光学系统的光轴而相互垂直的两个轴中至少一个轴的旋转角度，将计测出的旋转角度估计为第2图像相对于第1图像的位置偏移量。具体地讲，传感器估计部31使用传感器来估计图像间（帧间）的摄像机的抖动量（移动量）。在此，传感器估计部31由角加速度传感器、角速度传感器、加速度传感器、陀螺仪传感器以及方位传感器中的至少一种传感器构成。另外，关于传感器，也可以使用上述类型中的任意一种传感器或者几种传感器，计测产生于图像间（帧间）的摄像机的抖动量（移动量）。并且，也可以是，传感器估计部31按照时间顺序对由传感器计测到的抖动量（移动量）进行处理，由此估计该图像（帧）的抖动量（移动量）。

在判定部23判定为不使用由移动量估计部22估计出的移动量进行校正的情况下，校正方式确定部32确定是否使用由传感器估计部31估计出的移动量进行校正。具体地讲，在判定部23判定为图像处理的结果不能适用的情况下，校正方式确定部32确定是否能够适用由传感器估计部31估计出的抖动量（移动量）。具体地讲，校正方式确定部32使用加速度传感器或陀螺仪传感器等传感器观测图像间（帧间）或者多个图像（多个帧）的状况，由此确定是否使用由传感器估计部31估计出的抖动量（移动量）。

另外，关于对图像间（帧间）或者多个图像（多个帧）的状况的观测，例如在传感器的值在多个图像间（帧间）剧烈变动的情况下，能够判定为摄像机的抖动量（移动量）比较大。因此，也可以是，在传感器的值剧烈变动的情况下，校正方式确定部32视为传感器的估计精度下降，并确定不使用由传感器估计部31估计出的抖动量（移动量）进行校正。相反，在传感器的状况比较稳定的情况下，校正方式确定部32视为摄像机处于静止状态，并确定使用由传感器估计部31估计出的抖动量（移动量）进行校正。

下面，对如上所述构成的图像处理装置30的处理流程进行说明。

图18是用于说明本发明的实施方式2的图像处理装置30的处理流程的流程图。另外，对与图16相同的要素标注相同的标号，并省略详细说明。

即，在S10，移动量估计部22使用从第1图像和第2图像分别抽取的特征点，估计表示在时间上在所述第1图像之后拍摄的所述第2图像相对于所述第1图像的位置偏移量的移动量。

然后，传感器估计部31计测围绕在摄影中使用的光学系统的光轴的旋转角度、或者围绕相对于所述光学系统的光轴而相互垂直的两个轴中至少一个轴的旋转角度，将计测出的旋转角度估计为第2图像相对于第1图像的位置偏移量（S15）。

然后，判定部23根据所抽取的特征点进行是否使用由移动量估计部22估计出的移动量进行校正的判定（S20）。在S20，在由判定部23判定为不使用由移动量估计部22估计出的移动量进行校正的情况下（S20：失败），不结束图像处理装置30的处理，而是进入S25的传感器可靠性判定的处理。

在S25，在由判定部23判定为不使用由移动量估计部22估计出的移动量进行校正的情况下，校正方式确定部32确定是否使用由传感器估计部31估计出的移动量进行校正。在校正方式确定部32确定为使用由传感器估计部31估计出的抖动量（移动量）进行校正的情况下（S25：通过），进入S30。另一方面，在校正方式确定部32确定为不使用由传感器估计部31估计出的抖动量（移动量）进行校正的情况下（S25：失败），使图像处理装置20的处理结束。

然后，在由判定部23判定为使用由移动量估计部22估计出的移动量进行校正的情况下（S20：通过），图像校正部24使用由移动量估计部22估计出的移动量来校正第2图像相对于第1图像的位置偏移，由此校正多个图像间的位置偏移（S30）。另一方面，在由校正方式确定部32判定为使用由传感器估计部31估计出的移动量进行校正的情况下（S25：通过），图像校正部24使用由传感器估计部31估计出的移动量来校正第2图像相对于第1图像的位置偏移，由此校正多个图像间的位置偏移（S30）。

图像处理装置30按照以上所述进行处理。

根据以上所述的本实施方式，能够实现这样的图像处理装置及图像处理方法，即使是包括诸如在图像处理中不能进行抖动量的估计的图像，也能够高精度地校正在时间上连续拍摄的多个图像间的抖动量。具体地讲，根据本实施方式的图像处理装置及图像处理方法，能够根据在基于特征点的匹配处理过程中能取得的图像信息进行包括不适合图像处理的图像的场景的判定，根据所判定的场景来切换是否采用通过传感器或者图像处理而估计出的抖动量，由此能够高精度地校正所拍摄的影像的抖动。

根据以上所述的本发明，能够实现能够高精度地校正在时间上连续拍摄的多个图像间的抖动量的图像处理装置及图像处理方法。

另外，本发明的图像处理装置与进行校正的图像是何时拍摄的图像无关。并且，上述的图像处理装置采用了内置于数字照相机或数字视频摄像机中，随时对摄影图像进行校正的结构，但不限于此。例如，也可以构成为，作为应用而安装于个人电脑中等的在摄像装置之外另外准备图像处理装置，并通过线缆等直接与摄像机等记录装置连接来输入摄影图像，还可以构成为通过SD存储卡等记录介质或网络来读入图像数据。

以上关于本发明的图像处理装置、图像处理方法、图像处理程序，根据实施方式进行了说明，但本发明当然不限于这些实施方式。诸如下面所述的情况也包含于本发明中。

（1）上述的各个装置具体地讲是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。在所述RAM或者硬盘单元中存储有计算机程序。所述微处理器按照所述计算机程序而工作，由此各个装置实现其功能。其中，计算机程序是组合了向计算机指示命令的多个命令代码而构成的，以便实现规定的功能。

（2）也可以是，构成上述的各个装置的构成要素的一部分或全部由一个系统LSI（LargeScaleIntegration：大规模集成电路）构成。系统LSI是在一个芯片上集成多个构成部分制得的超多功能LSI，具体地讲，可以是包括微处理器、ROM、RAM等在内构成的计算机系统。在所述RAM中存储有计算机程序。所述微处理器按照所述计算机程序而工作，由此系统LSI实现其功能。

（3）也可以是，构成上述的各个装置的构成要素的一部分或全部由能够在各个装置上插拔的IC卡或者单体模块构成。所述IC卡或者所述模块是由微处理器、ROM、RAM等构成的计算机系统。也可以是，所述IC卡或者所述模块包括上述的超多功能LSI。微处理器按照计算机程序而工作，由此所述IC卡或者所述模块实现其功能。也可以是，该IC卡或者该模块具有耐篡改性。

（4）本发明也可以是以上示出的方法。并且，本发明也可以是由计算机来实现这些方法的计算机程序，还可以是由所述计算机程序构成的数字信号。

并且，本发明也可以将所述计算机程序或所述数字信号记录在计算机可以读取的记录介质中，所述记录介质例如是软盘、硬盘、CD－ROM、MO、DVD、DVD－ROM、DVD－RAM、BD（Blu-rayDisc：蓝光盘）、半导体存储器等。并且，本发明还可以是记录在这些记录介质中的所述数字信号。

并且，本发明也可以构成为经由电通信线路、无线或有线通信线路、以因特网为代表的网络、数据广播等，传输所述计算机程序或所述数字信号。

并且，本发明也可以构成为具有微处理器和存储器的计算机系统，所述存储器存储所述计算机程序，所述微处理器按照所述计算机程序而工作。

并且，本发明也可以构成为将所述程序或所述数字信号记录在所述记录介质中并传输，或者经由所述网络等传输所述程序或所述数字信号，从而能够利用独立的其他计算机系统来实施。

（5）本发明也可以分别组合上述实施方式和上述变形例来实施。

产业上的可利用性

本发明的图像处理装置根据图像信息进行不适合图像处理的场景的判定，根据场景来切换传感器、图像的处理，由此能够用作高精度地校正利用鱼眼光学系统等广角光学系统拍摄的影像的抖动的装置等。并且，本发明的图像处理装置能够用作例如数字照相机、视频摄像机、可佩戴式摄像机或个人电脑的软件等影像校正处理装置。

标号说明

10摄像部；20、30图像处理装置；20a图像处理部；21图像取得部；22移动量估计部；23判定部；24图像校正部；31传感器估计部；32校正方式确定部；221特征点抽取部；222特征点坐标变换部；223特征点匹配部；224存储器；231特征点判定部；232模糊判定部；233纹理判定部。

Claims (10)

1.一种图像处理装置，用于校正在时间上连续拍摄的多个图像间的位置偏移，该图像处理装置具有：

移动量估计部，使用从第1图像和在时间上在所述第1图像之后拍摄的第2图像分别抽取的特征点，估计表示所述第2图像相对于所述第1图像的位置偏移量的移动量；

判定部，根据所述特征点进行是否使用由所述移动量估计部估计出的所述移动量进行校正的判定；以及

图像校正部，在由所述判定部判定为使用所述移动量进行校正的情况下，使用所述移动量来校正所述第2图像相对于所述第1图像的位置偏移，由此校正所述多个图像间的位置偏移，

所述多个图像是使用鱼眼光学系统拍摄的，

所述移动量估计部具有：

特征点抽取部，从所述第1图像抽取第1特征点，从所述第2图像抽取第2特征点；

特征点匹配部，利用由所述特征点抽取部抽取的所述第1特征点和所述第2特征点进行匹配，由此估计表示所述第2图像相对于所述第1图像的位置偏移量的移动量；以及

特征点坐标变换部，将由所述特征点抽取部抽取的所述第1特征点和所述第2特征点的坐标变换为根据鱼眼光学系统的投影方式进行三维投影而得到的三维坐标，

所述特征点匹配部利用由所述特征点坐标变换部进行变换后的所述第1特征点的三维坐标和所述第2特征点的三维坐标进行匹配，由此估计表示所述第2图像相对于所述第1图像的位置偏移量的移动量。

2.根据权利要求1所述的图像处理装置，

所述判定部在根据所述特征点判定为由所述移动量估计部估计出的所述移动量表示所述第2图像相对于所述第1图像的位置偏移量的情况下，判定为使用由所述移动量估计部估计出的所述移动量进行校正。

3.根据权利要求1所述的图像处理装置，

所述判定部在判定为在所述第1图像或者所述第2图像中抽取的特征点的数量多于规定的数量的情况下，判定为使用由所述移动量估计部估计出的所述移动量进行校正。

4.根据权利要求1所述的图像处理装置，

所述判定部判定从所述第1图像抽取的第1特征点和从所述第2图像抽取的第2特征点的坐标被三维投影得到的三维坐标上的所述第1特征点的特征点分布与所述第2特征点的特征点分布之间的一致度是否高于规定的一致度，在判定为该一致度高于规定的一致度的情况下，判定为使用由所述移动量估计部估计出的所述移动量进行校正。

5.根据权利要求1～4中任意一项所述的图像处理装置，

在从所述第1图像抽取的第1特征点和从所述第2图像抽取的第2特征点的坐标被投影而得到的三维坐标上的所述第1特征点的特征点分布与所述第2特征点的特征点分布的一致度高于规定的一致度的情况下，

所述判定部还对所述第1图像和所述第2图像进行区域分割，按照分割出的每个区域确认高于所述规定的一致度的所述第1特征点和所述第2特征点的特征点分布，在该特征点分布偏向于所述分割出的区域中的一部分区域的情况下，判定为不使用由所述移动量估计部估计出的所述移动量进行校正。

6.根据权利要求1所述的图像处理装置，

所述图像处理装置还具有传感器估计部，该传感器估计部计测围绕在摄影中使用的光学系统的光轴的旋转角度、或者围绕相对于所述光学系统的光轴而相互垂直的两个轴中至少一个轴的旋转角度，将计测出的所述旋转角度估计为所述第2图像相对于所述第1图像的移动量。

7.根据权利要求6所述的图像处理装置，

所述传感器估计部由角加速度传感器、角速度传感器、加速度传感器、以及方位传感器中的至少一种传感器构成。

8.根据权利要求6所述的图像处理装置，

所述图像处理装置还具有校正方式确定部，在所述判定部判定为不使用由所述移动量估计部估计出的移动量进行校正的情况下，该校正方式确定部确定是否使用由所述传感器估计部估计出的移动量进行校正。

9.一种图像处理方法，用于校正在时间上连续拍摄的多个图像间的位置偏移，该图像处理方法包括如下步骤：

移动量估计步骤，使用从第1图像和在时间上在所述第1图像之后拍摄的第2图像分别抽取的特征点，估计表示所述第2图像相对于所述第1图像的位置偏移量的移动量；

判定步骤，根据所述特征点进行是否使用由所述移动量估计步骤估计出的所述移动量进行校正的判定；以及

图像校正步骤，在由所述判定步骤判定为使用所述移动量进行校正的情况下，使用所述移动量来校正所述第2图像相对于所述第1图像的位置偏移，由此校正所述多个图像间的位置偏移，

所述多个图像是使用鱼眼光学系统拍摄的，

所述移动量估计步骤具有：

特征点抽取步骤，从所述第1图像抽取第1特征点，从所述第2图像抽取第2特征点；

特征点匹配步骤，利用由所述特征点抽取步骤抽取的所述第1特征点和所述第2特征点进行匹配，由此估计表示所述第2图像相对于所述第1图像的位置偏移量的移动量；以及

特征点坐标变换步骤，将由所述特征点抽取步骤抽取的所述第1特征点和所述第2特征点的坐标变换为根据鱼眼光学系统的投影方式进行三维投影而得到的三维坐标，

所述特征点匹配步骤中，利用由所述特征点坐标变换步骤进行变换后的所述第1特征点的三维坐标和所述第2特征点的三维坐标进行匹配，由此估计表示所述第2图像相对于所述第1图像的位置偏移量的移动量。

10.一种集成电路，用于校正在时间上连续拍摄的多个图像间的位置偏移，该集成电路具有：

移动量估计部，使用从第1图像和在时间上在所述第1图像之后拍摄的第2图像分别抽取的特征点，估计表示所述第2图像相对于所述第1图像的位置偏移量的移动量；

判定部，根据所述特征点进行是否使用由所述移动量估计部估计出的所述移动量进行校正的判定；以及

图像校正部，在由所述判定部判定为使用所述移动量进行校正的情况下，使用所述移动量来校正所述第2图像相对于所述第1图像的位置偏移，由此校正所述多个图像间的位置偏移，

所述多个图像是使用鱼眼光学系统拍摄的，

所述移动量估计部具有：

特征点抽取部，从所述第1图像抽取第1特征点，从所述第2图像抽取第2特征点；

特征点匹配部，利用由所述特征点抽取部抽取的所述第1特征点和所述第2特征点进行匹配，由此估计表示所述第2图像相对于所述第1图像的位置偏移量的移动量；以及

特征点坐标变换部，将由所述特征点抽取部抽取的所述第1特征点和所述第2特征点的坐标变换为根据鱼眼光学系统的投影方式进行三维投影而得到的三维坐标，

所述特征点匹配部利用由所述特征点坐标变换部进行变换后的所述第1特征点的三维坐标和所述第2特征点的三维坐标进行匹配，由此估计表示所述第2图像相对于所述第1图像的位置偏移量的移动量。