CN102714694B - 图像处理装置、图像处理方法、集成电路、程序 - Google Patents

Abstract

图像处理装置(100)具备：掩膜生成部(110x)，基于第一图像(101a)中的边缘生成掩膜图像(110aI)；特征点掩膜部(111x)，在提取的特征点上覆盖生成的掩膜图像(110aI)的掩膜；旋转矩阵计算部(112)，通过进行掩膜，使用从2个以上的特征点中确定的特征点，计算第一、第二图像(101a、101b)间的位置的变化；以及图像校正部(113)，使用计算出的变化。

Description

图像处理装置、图像处理方法、集成电路、程序

技术领域

本发明涉及由数字静物照相机、摄影机、佩戴式照相机等拍摄的影像的校正技术。

背景技术

作为以往的对照相机的抖动进行校正的方法，有通过使用如下技术来估计/校正帧间的照相机的抖动量的方法，即，使用2张图像的以MPEG(Moving Picture Experts Group/运动图像专家组)技术等为代表的检测运动矢量的技术。

该方法是，将图像划分为多个矩形区域，对每个区域求出帧间的移动量，根据每个区域的运动矢量来估计图像整体的移动量，最终进行图像的校正的方法。在这样的使用运动矢量的方法中，由于算法的性质，在精度和计算成本方面存在问题。因此，能够检测的照相机的抖动的大小受到限制。并且，在能够检测的照相机的抖动的大小和其计算成本之间存在折衷调整(trade off)的关系。并且，越扩大能够检测的照相机的抖动的大小，其计算成本也越高。因此，通常在事先估计照相机的抖动的大小，并设定能够检测的照相机的抖动的大小。因此，通过该方法来检测较大的照相机抖动时，需要较大地设定能够检测的范围。另一方面，设定的该范围的大小与解空间的大小相同。即，由于其大小，陷于局部解的可能性变高。这种情况的检测精度不是足够的精度，无法对应于步行时拍摄的影像或无取景器(finder)地拍摄的影像中包含的抖动的大小。

另一方面，作为对以使用运动矢量的方法无法处理的大小的抖动进行校正的方法，有特征点库(feature base)匹配方法。在该方法中，与对每个区域的信息进行处理的运动矢量的方法不同，使用在时间上连续拍摄的2张图像之间共通存在的、被摄体上的若干个点。在这些共通的多个点之中，将能够通过图像处理来检测的点称为特征点。特征点库匹配方法是通过进行帧间的特征点的对位，来估计在2张图像之间产生的抖动的方法，将该对位称为匹配。通过进行该匹配，能够估计表示抖动量的旋转矩阵，并使用该旋转矩阵进行校正。

但是，通常在特征点库匹配方法中，照相机的抖动量是未知的，并且拍摄的被摄体的信息也是未知的。因此事先无法知道，使用哪个特征点来进行对位能够估计正确的照相机的抖动。

因此，使用RANSAC(RANdom SAmple Consensus/随机抽样一致)等方法，总体地检索应使用哪些征点的组合。并且，通常以事先设定的评价函数，使用被判定为最佳组合的特征点的对(inlier)来估计抖动量。

在这样的特征点库匹配方法中，使用特征点的2个帧之间的类似性来进行匹配。因此，解空间的大小依存于特征点的数量。因此，即使在较大地设定能够检测的范围的情况下，与使用每个区域的信息的上述使用运动矢量的方法相比，计算成本不会过于变高，陷于局部解的可能性也不会变高。

因此，如果使用特征点库匹配方法，则即使是步行时拍摄的影像或无取景器地拍摄的影像中包含的较大的抖动，也能够估计照相机的抖动。

但是，在这样的特征点库匹配方法中，最终用于抖动量的估计的特征点必须是从图像的远景区域取得的特征点。这与以什么为基准来对照相机的抖动进行校正的问题是等价的。

即，照相机不是相对于被摄体运动，而是相对于远景(背景)运动。因此，在对照相机的抖动进行校正时，优选为相对于远景进行校正。这就是使用的特征点优选为远景区域的特征点的理由。

总之，即使相对于存在于近景的行人这样的被摄体进行对位，在基于该对位的校正后的影像中也无法观察到抖动减轻，而通过相对于远景进行对位，能够观察到照相机的抖动减轻。

另外，这里使用的远景区域表示，将图像内的区域分为近景区域和远景区域的情况下的、离照相机的距离相对较远的区域。例如，在拍摄有人等被摄体和大厦或自然的相片中，近景区域是指拍摄有人的区域，远景区域是指拍摄有大厦或自然(树等)的区域。

在先技术文献

专利文献

专利文献1：日本特开2009-110137号公报

专利文献2：日本特开2001-148023号公报

专利文献3：日本特开2002-298137号公报

发明的概要

发明所要解决的技术问题

但是，在特征点库匹配方法中，为了使抖动量的估计成功，如上所述，需要使用从远景区域取得的特征点。

但是，如果不使用特殊的测距装置或复眼等，图像中的哪个区域是近景区域，哪个区域是远景区域是未知的。

此外，在通过图像处理来估计距照相机的距离的情况下，存在如专利文献1所示的方法，即，在图像的编码前，通过将焦点距离变动为多个焦点距离中的每个焦点距离，求出每个区域的距离；以及如专利文献2和专利文献3所示的方法，即，在图像的编码后，将图像区域分割为多个，求出亮度值的差分和边缘信息并比较，从而对每个区域求出距照相机的距离。

但是，像这些方法这样，对每个区域求出距照相机的距离，并使用将近景/远景分离后的特征点来进行匹配处理的情况下，也存在图像处理的精度方面的问题。因此，残留有抖动的估计失败的可能性。

如上所述，作为使用的特征点，优选为远景区域的特征点的理由是，为了以远景区域为基准进行校正。

但是，为了估计抖动量，除了需要满足远景区域的条件外，还需要满足几乎不产生帧间的运动的条件，或者即使产生运动，但运动较小且其运动的方向相同的条件。

作为不满足该条件的情况，可以想到如下情况，即，例如使用在存在于远景区域、虽然运动较小但是运动的方向不相同的随风晃动的树的区域上提取的特征点，来估计抖动量的情况。

这种情况下，由于使用了与照相机的运动无关的运动的信息，所以无法估计正确的抖动量。

该例这样的抖动量估计的失败，在远景区域中自然物较多的场景中变得显著，这样的由于远景的自然物的有无而产生的问题，在现有技术中未能解决。

发明内容

在此，本发明所要解决的技术问题是，在以往的特征点库匹配方法中，在较多包含近景区域的影像或在远景区域中较多包含自然物的影像中，难以进行正确的对位的问题。即，在本发明中，提供一种在这样的影像中也能够进行正确的对位的图像处理装置。

解决技术问题所采用的技术手段

为解决上述课题，本发明的图像处理装置具备：图像取得部，分别取得第二图像和在拍摄第二图像之前先拍摄的第一图像；特征点提取部，从取得的所述第一、第二图像中的各个图像提取该图像中的特征点；掩膜图像生成部，基于所述第一图像中的边缘生成掩膜图像；特征点掩膜部，在由所述特征点提取部提取的所述第一图像的所述特征点上覆盖由所述掩膜图像生成部生成的所述掩膜图像的掩膜；计算部，通过由所述特征点掩膜部进行掩膜，使用从2以上的所述特征点(参照图13的位置101s、位置101n等)中确定的所述特征点(参照位置101s)和提取的所述第二图像的所述特征点，计算第一、第二图像间的位置关系；以及图像校正部，使用由所述计算部计算的所述位置关系，对所述第一、第二图像中的一方的图像进行校正。

发明的效果

根据本发明的图像处理装置，使用作为满足抖动量的估计所需的条件的区域之一的构造物区域(参照图2的区域101F等)，从而能够进行匹配处理，所以在较多包含近景的影像或在远景中较多存在自然物的影像中，也能够正确地对抖动量进行估计/校正。

能够提高确定的摄像部的运动(参照图13的运动101m)的精度，或使运动的确定不易失败。

在此，构造物是指大厦或柱子、窗户等具有几何学结构的对象，构造物满足上述的为了估计抖动量所需的条件，即几乎不产生帧间的运动，或者即使产生运动，但运动较小且其运动的方向相同。此外，构造物由于其几何学结构，具有图像上的边缘分布在特定的线段上的趋势较高这一特征。

附图说明

图1是本发明的实施方式1中的图像处理装置的整体结构图。

图2是表示图像的特征点提取的例的图。

图3A是表示索贝尔过滤器的图。

图3B是表示索贝尔过滤器的图。

图4是表示通过角度检测检测到的角度的例的图。

图5是表示根据进行了边缘检测的图像来制作角度直方图的例的图。

图6是表示根据具有角度直方图的峰值角度的像素来制作的构造物区域掩膜的例的图。

图7是表示将图6的构造物区域掩膜的构造物区域进行了扩大处理的例的图。

图8是表示构造物区域的扩大方法的例的图。

图9是表示构造物区域的插补方法的例的图。

图10A是表示使构造物区域掩膜的权重多于2值的情况的例的图。

图10B是表示使构造物区域掩膜的权重多于2值的情况的例的图。

图11是表示本发明的实施方式1中的图像处理装置的处理的流程图。

图12是表示本发明的实施方式2中的图像处理装置的图。

图13是表示图像处理装置等的图。

具体实施方式

以下参照附图说明本发明的实施方式。

实施方式的图像处理装置(图像处理装置100、系统100x)具备：图像输入部103(图13、图1等)，分别取得第二图像101b和在拍摄第二图像101b(图13)之前先拍摄的第一图像101a。此外，具备特征点提取部104，从取得的第一、第二图像101a、101b中的各个图像提取该图像中的特征点(第一图像101a的位置101x(图13)的特征点等)。此外，具备掩膜生成部110x，基于第一图像101a中的边缘(参照图2的直线110L所形成的边缘等)，生成掩膜区域中的掩膜图像(图7的图像(掩膜图像)110aI)，该掩膜区域包含形成该边缘的直线(直线110L等)上的各个点。此外，具备特征点掩膜部111x，在由特征点提取部104提取的第一图像101a的特征点(位置101x)上，利用由掩膜生成部110x生成的掩膜图像(图像110aI)来覆盖掩膜，并确定上述直线(直线110L)上的特征点(位置101s(图13)的特征点)。此外，具备旋转矩阵计算部112，通过由特征点掩膜部111x进行掩膜，使用从2以上的特征点(2以上的位置101x(图13等))中确定的上述特征点(位置101s的特征点、第一位置101p(图13)的特征点)和提取的第二图像101b的特征点(第二位置101q的特征点)，计算表示第一、第二图像101a、101b之间的位置关系(位置的变化101r)的数据(参照后述的旋转矩阵)。此外，具备图像校正部113，使用由旋转矩阵计算部112计算出的位置关系(位置的变化101r)，将第一、第二图像101a、101b中的一方的图像110I(例如第二图像101b)校正为校正后的图像113a，校正后的图像113a是对一方的图像110I中的上述变化101r中的位置的偏移进行了消除校正后的、各个位置由于摄像部101的运动01m产生的偏移被校正了的位置。

即，该图像处理装置是照相机的一部分或整体等。

并且，例如第一图像101a可以是存在第一特征点(位置101p)的图像。

第二图像101b可以是存在第二特征点的图像(位置101q)，该存在第二特征点的图像拍摄有与向第一特征点拍摄的部位相同的部位。

旋转矩阵计算部112可以计算第一特征点和第二特征点之间的位置关系(位置的变化101r)。

另外，计算出的位置关系是，根据该位置关系确定拍摄了第一、第二图像101a、101b的2个时刻之间的摄像部101的运动101m的位置关系。

图像校正部113可以根据上述一方的图像110I，来生成对一方的图像110I中的计算出的位置关系量的位置的偏移(由运动101m产生的偏移)进行了校正的、校正后的图像113a。

特征点掩膜部111x可以判定第一图像101a中的第一特征点是否是预先决定的特征点(图13、图2中的拍摄有构造物(建筑物)的位置101s的特征点)。即，可以判定是位置101s的特征点还是其他位置101n的特征点。

预先决定的特征点也可以是，在该特征点中存在边缘(直线110L形成的边缘)并且存在与第一图像101a中的该边缘的角度(该边缘的法线矢量(后述)的角度110b1)相同角度(角度110b1)的边缘的位置(参照位置110Lp)的个数是峰值的个数(图5所示的个数110bN)的特征点(位置101s的特征点)，是第一图像101a中拍摄有构造物(建筑物)的区域101F中的特征点(位置101s的特征点)。

旋转矩阵计算部112也可以仅在判定为特征点(位置101x)是上述的预先决定的特征点(位置101s的特征点)的情况下，进行将该特征点(位置101x)作为第一特征点(第一位置101p)的、上述位置关系(位置的变化101r)的计算的处理。

即，在判定为不是预先决定的特征点(位置101s的特征点)的情况下，可以不进行根据该特征点的上述计算。

由此，向校正后的图像113a的校正仅基于拍摄构造物的位置101x(位置101s)的特征点。由此，校正的精度能够成为更高的精度，能够回避校正的失败，确实地校正成功。

以下详细说明。

(实施方式1)

图1是表示本发明的实施方式1中的图像处理装置(图像处理装置100)的整体结构的图。

在图1中，摄像部101是数字静物照相机或数字摄影机等、具备CCD(Charge Coupled Device/电荷耦合器件)或CMOS(Complementary MetalOxide Semiconductor/互补金属氧化物半导体)传感器等摄像元件的照相机等，拍摄影像并作为电信号输出。

图像数据储存部102储存有图像数据1(第一图像数据、第一图像101I)，该图像数据1相对于由摄像部101拍摄的图像数据2(第二图像数据、第二图像102I)，在时间序列上是在该图像数据2的紧之前拍摄的。

图像输入部103进行由摄像部101拍摄的图像数据2和储存在图像数据储存部102中的图像数据1这2张图像数据的输入。在此，图像数据1的图像1(第一图像101I)是指在时间序列上在图像数据2的图像2(第二图像102I)的紧之前拍摄的图像，图像2是指在拍摄了图像1的紧之后拍摄的图像。

另外，这些2个图像数据的每一个也可以是，例如以一般的JPEG(JointPhotographic Experts Group/联合图像专家组)形式压缩编码的数据。此外，也可以是例如以MPEG4等运动图像形式记录的数据。也可以是，例如这些2个图像数据是MPEG4等中的运动图像中的2个时刻的图像的图像数据。作为本发明的一例的图像处理装置100，不关心进行校正的图像是何时拍摄的。

此外，在本实施方式中，采用了如下结构，即，将作为本发明的一例的图像处理装置100内置在数字静物照相机或数字摄影机中，在原地对摄像图像进行校正。另一方面，也可以是，在个人计算机上作为应用程序而安装图像处理装置100的功能等，在摄像装置之外单独地准备图像处理装置100。并且，可以是将图像处理装置100通过缆线等直接与照相机等记录器件连接，从而输入摄像图像的结构，也可以经由SD存储卡等记录介质或网络读入图像数据。

特征点提取部104接受由所述图像输入部103输入的上述图像1、2中的各个图像，进行输入的图像1的特征点的提取，生成确定提取出的图像1的特征点的特征点数据1。

在此，特征点是表示，在图像中的纵向·横向的边缘都较强地突出的、边缘的交叉点或局部的附近，存在朝向2个不同方向的较强的边缘的点等。并且，作为特征点优选为，能够从例如在时间序列上连续的图像1和图像2这2张图像间共通地拍摄的点稳定地检测的种类的点。并且，这时，图像1和图像2之间的正确的位置关系是未知的。因此，需要使用某种基准来生成共通存在的特征点。在该特征点的生成中使用哈里斯算法的情况下，以图像的边缘为基准，检测纵·横的边缘交叉的角点。

另外，在特征点提取部104中，由于对每个像素计算表示边缘的交叉度的特征点得分(score)，所以理论上每个像素都存在特征点得分。但是，在组装系统等存在资源限制的环境下进行安装的情况下，有时用于匹配处理的特征点的个数存在上限，所以使用计算出的所有特征点来进行匹配处理，从计算成本和运算精度方面考虑，并不优选。这种情况下，按照特征点得分从高到低的顺序，将达到规定数量为止的各个点作为特征点来采用。

在哈里斯算法中使用的边缘反映图像的对比度(亮度值)变化，所以在照明条件稍微变化的程度下，保存图像的对比度，边缘不消失。由此，除了通过遮挡来隐藏障碍物等，而边缘自身消失的情况，边缘在帧间消失的可能性较低。因此，以边缘信息为基础的特征点得分较高的点在特征点数据1和特征点数据2之间共通存在的可能性变高。利用该性质，将特征点得分作为选择的基准来使用的情况下，选择得分比某确定的阈值高的特征点。

另外，在此，使用特征点得分来选择特征点的情况下，所述确定的阈值可以使用图像内的平均得分的值，也可以基于多个图像的时间序列上的得分的平均等来决定。进而，所述特定的阈值不需要在图像整体中使用1个阈值，也可以基于对每个区域生成的阈值来进行特征点的选择，对每个区域生成的阈值可以基于单一的图像来决定，也可以利用时间序列上的多个图像来决定。此外，也可以基于进行某个物体的识别时的物体的得分来决定得分。这意味着，例如将最初在图像1中存在1000点的特征点缩小到100点。这种情况下，最终由旋转矩阵计算部112从图像1的100点和图像2的100点之中决定估计抖动量所需的特征点对。

图2是表示特征点的例的图。

作为实现该特征点提取部104的代表性的方法，存在哈里斯算法和SIFT等方法。

特征点数据储存部105储存根据图像1(第一图像101I)生成的特征点数据1(数据105d：图1)。图像1是由所述特征点提取部104提取了特征数据2的图像2(第二图像102I)的、时间序列上的紧之前拍摄的图像。

在角度计算部106中，根据由特征点提取部104计算出的纵·横的边缘信息生成每个像素的角度信息。

图3A、图3B分别是表示索贝尔过滤器的图。

并且，在边缘信息的生成中使用了索贝尔过滤器的情况下，x成分使用图3A的矩阵，y成分使用图3B的矩阵，来计算边缘信息。

另外，在此，系数矩阵采用了3×3矩阵，但是也可以使用5×5矩阵或7×7矩阵等这样的更大的矩阵。一般的系数矩阵为(2k-1)×(2k-1)的正方矩阵，k取2以上的整数。

图4是表示通过角度检测检测到的角度的例的图。

如果设生成的x成分、y成分的值为gx、gy，则角度的计算式如下：

θ＝arctan(gy/gx)。

该角度的计算处理相当于计算对于关注像素的亮度梯度的方向的法线矢量。对所有像素进行该角度计算处理，对各个像素计算法线矢量。

图5是表示根据进行了边缘检测的图像来制作角度直方图的例的图。

在角度直方图制作部107中，根据由角度计算部106计算出的各像素内的角度信息，制作以角度为横轴，以各个角度的度数为纵轴的角度直方图。

另外，在此，由角度直方图制作部107生成的直方图的比较优选的分辨率基于拍摄的照相机的特性，但是为了能够通过角度峰值判定部108检测峰值，例如大约1度左右即可。

在此，也可以考虑在图像上由于噪音的影响而像素值变动的影响。即，也可以是，例如将角度直方图的分辨率设为1度的情况下，某像素中的角度为10度时，不对角度直方图的10度的度数加1，而是对10度的度数加2，对9度·11度的度数分别加1，进行这样的加权。

另外，在本实施例中，设想了通过没有透镜的变形(歪み)的通常的画角的透镜来拍摄的图像。另一方面，使用通过存在透镜变形的透镜拍摄的图像的情况下，由于以伴随着透镜变形的形态得到边缘的角度信息，所以无法得到正确的角度。这种情况下，为了得到正确的角度，在计算边缘信息之前，需要使用进行了除去各透镜的变形的处理后的图像。

在角度峰值判定部108中，求出具有由角度直方图制作部107制作的角度直方图上的峰值的角度(参照极大点的角度110b等)。在此，根据角度直方图来求出峰值角度的背景如下所述。

即，在图像中拍摄有大厦或建筑物这样的构造物的情况下，该构造物上的边缘作为直线(参照图2的直线110L)的一部存在于图像中。表示作为直线的一部而存在的边缘的角度成为几乎相同的角度(参照图2中的直线110L上的各个位置110Lp处的、该直线101L的法线的角度110b1等)。另一方面，根据构造物以外的区域计算出的边缘的形状一般像构造物那样不是规则的，所以角度分散的趋势较强。

因此，表示构造物上的边缘的角度在角度直方图上容易作为峰值表示。通过使用该性质，能够根据角度直方图上的峰值估计图像中的构造物区域。

另外，在此，作为构造物的边缘所具备的角度，存在与地面水平的角度、垂直的角度等多个角度。因此，由角度峰值判定部108检索到的角度的峰值数也可以不是1个，而是2个以上。

此外，在角度峰值判定部108中，在判定为不存在峰值的情况下，判定为不存在构造物区域。因此，不进行构造物区域掩膜的生成，而是直接使用由特征点提取部104生成的特征点。

在构造物区域估计部109中，由角度峰值判定部108对具有被作为峰值的角度(参照图5的角度110b1)的边缘的图像上的位置进行确定/插补。将具有该峰值角度的边缘的图像上的位置作为存在于远景的构造物的位置，由构造物区域掩膜生成部110生成掩膜(构造物区域掩膜、掩膜图像)。即，生成的掩膜的掩膜区域可以是包含拍摄有构造物的各个位置(参照图2的位置101s等)，而不包含其他位置(参照位置101n)的区域。并且，在构造物区域掩膜部111中，对由特征点提取部104选择的特征点进行掩膜。即，作为拍摄有构造物的位置(位置101s)的特征点，作为在旋转矩阵计算部112中使用的特征点被选择，另一方面作为其他位置(位置101n)的特征点不被选择。

图6是表示根据具有角度直方图的峰值角度(参照图5的角度110b等)的像素来制作的构造物区域掩膜的例的图。

在构造物区域估计部109中，除了峰值角度位置的确定之外，还进行插补。还这样进行插补的原因是，在角度峰值判定部108中，仅以具有被判定为峰值角度的角度的像素的位置，无法充分覆盖对特征点进行掩膜所需的构造物区域，作为将构造物区域抽出的掩膜并不充分。

像这样无法充分覆盖的主要原因有2个。

即，1个原因是与由特征点提取部104生成的特征点得分相关的原因。此外，另1个原因是，与由角度直方图制作部107生成的角度直方图的bin幅、即与角度分辨率相关的原因。

即，基于图像的亮度值计算特征点得分。因此，有时由于该图像的照明条件或在帧间照相机的位置变化等而产生观察方式的变化的影响。此外，在帧间，虽然特征点的大致位置吻合，但是由于噪音，有时精确的位置不吻合而特征点的位置产生误差。

另一方面，关于角度直方图的角度分辨率，其角度分辨率越高，则判定为峰值角度的角度范围越窄。因此，产生图像上的被判定为构造物的像素变少，构造物区域的覆盖的范围过窄的问题。

相反，角度分辨率越低，则判定为峰值角度的角度范围越宽，在图像上具有峰值角度的像素增加。由此，判定为构造物的像素变多，另一方面，即使位于非构造物区域但被判定为位于构造物区域的像素也增加。

这样，存在折衷调整的关系。

由于上述2点的影响，有时无法充分覆盖。在此，为降低其产生，在构造物区域估计部109中，除了峰值角度位置的确定之外，还进行构造物区域的插补。

图8表示构造物区域的扩大方法的例的图。

为了表示插补方法的例，使用图8进行说明。

首选，说明上述的基于特征点得分来进行用于抑制特征点位置的误差的影响的插补处理。

构造物区域估计部109在进行图8的(a)栏那样的图像的区域的处理时，关注具有峰值角度的像素(参照图8的(b)栏的由虚线的圆确定的像素8b1)，沿着由角度计算部106计算出的法线矢量的方向(方向8b2)扩大该像素8b1的区域(图8的(c)栏)，然后将沿着法线矢量方向扩大的区域(区域8d1)的周边进一步扩大(参照图8的(e)栏中的周边的区域8e1)。

然后，在所有具有峰值角度的像素的位置进行这样的、关注了构造物的边缘上的峰值角度的区域的扩大处理(图8的(e)栏)，扩大构造物的区域(参照图8的(f)栏，扩大前的区域8f1、扩大后的区域8f2)。

另外，在该例中，沿着法线矢量方向进行2像素量的插补，但是可以根据图像尺寸或画角等进行变更。

图7是表示将图6的构造物区域掩膜的构造物区域进行了扩大处理的例的图。

这样，通过扩大构造物的周边区域，抑制了特征点位置的误差的影响。

另外，在此，也可以根据特征点提取的特性来扩展插补方式。例如，作为特征点提取的方式使用哈里斯算法的情况下，在角部上容易存在特征点，所以在角部上增大插补的像素数等。

图9是表示构造物区域的插补方法的例的图。

接着，加入用于解决角度直方图的分辨率的折衷调整的插补处理。可以想到在上述的用于抑制特征点位置的误差的影响的插补处理后(图9的(b)栏)，情况如下所述。这种情况是指，在与峰值角度的角度差在一定以内、并且与法线矢量的方向(参照图8的方向8b2)垂直的方向(参照图9的箭头线)的延长上，存在具有相同法线矢量的区域的情况(图9的(b)栏)。在这种情况下，认为构造物上的边缘由于照明条件和噪音等而缺失，区域9c1也作为构造物区域进行插补(图9的(c)栏)。

这是利用了如下特性，即，如果是图像中的构造物上的边缘，则被具有相同峰值角度的边缘夹持的、具有与峰值角度相近的角度的区域是存在于同一构造物上的边缘的可能性较高(参照区域9c1)。

这样，在构造物区域估计部109中，使用构造物上的边缘和角度信息的特性，进行区域的插补，最终制作构造物区域的掩膜(图9的(d)栏)。

另外，这样的由构造物区域掩膜生成部110生成的掩膜也可以应用2值的掩膜，该2值的掩膜为，例如将判定为是构造物区域的区域以1表现，将判定为不是构造物区域的区域以0表现。

图10A、图10B分别是表示使构造物区域掩膜的权重多于2值的情况的例的图。

另外，在图10B中，图10A示出更示意性的图。请适当参照图10B。

此外，例如考虑像图10A那样在相同的法线矢量a的延长上存在具有与法线矢量a正交的角度的法线矢量b的情况。这种情况下，也可以是，该正交的区域的周边是纵·横边缘交叉的角部，制作如下的掩膜，即，将正交的区域的周边的区域的值作为2，将判定为是构造物区域的区域的值作为1，将判定为不是构造物区域的区域的值作为0，并应用制作的掩膜。另外，在上述的说明中，作为多值的例示出了值的种类为0～2的3种类的例。同样地，值的种类也可以是4种类以上等。

在构造物区域掩膜部111中，将由构造物区域掩膜生成部110生成的掩膜覆盖在由特征点提取部104生成的特征点上。由此，对于由特征点提取部104生成的特征点，能够区别从构造物区域生成的特征点和从近景或自然物等非构造物区域生成的特征点。

此外，由构造物区域掩膜部111生成的掩膜不仅区别为构造物·非构造物区域，在该掩膜能够区别包含角部区域等多个区域的情况下，在匹配处理部中通过变更各特征点的权重来对应。

这样，应用由构造物区域掩膜生成部110生成的掩膜。由此，在图像中中存在构造物区域的情况下，能够以图像中的远景区域即构造物区域上的特征点来进行匹配。由此，可以期待匹配精度的提高。因此，优先从构造物区域采用特征点。

另外，相反不存在构造物区域的情况下，直接使用由特征点提取部104生成的特征点。此外，通过覆盖构造物区域掩膜，在特征点的数量过少的情况下，优先从构造物区域选择特征点，使用从特征点选择基准较高的特征点起到一定数量为止的、来自非构造区域的特征点来补充不足的部分。

在此，作为这样从非构造区域补充不足的特征点的意图，说明以下理由的意图。即，在计算资源为一定的环境下，在计算量依存于特征点的数量的匹配处理的情况下，如果满足特征点数是未用尽计算资源的程度的条件，则如下所述。即，不需要仅将存在于构造物区域上的少数的特征点用于匹配处理，在构造物区域以外也存在能够用于匹配的特征点，存在能够较多使用的可能性。因此，可以得出提高匹配处理成功的可能性的理由。

旋转矩阵计算部112使用由构造物区域掩膜部111最终选择的特征点，进行在图像1、图像2之间产生的、表示照相机的运动的旋转矩阵的计算。旋转矩阵的计算方法也可以是使用RANSAC(RANdom SAmple Consensus/随机抽样一致)等方法来计算的方法。

图像校正部113使用由旋转矩阵计算部112计算出的旋转矩阵，对在图像1、图像2之间产生的照相机的运动进行校正。

图11是表示实施方式1中的图像处理装置的流程图。

图像输入部103读入由摄像部101拍摄的图像2和储存在图像数据储存部102中的图像1，特征点提取部104提取图像1的特征点数据1(步骤S501)。

接着，角度计算部106根据图像1计算纵·横的边缘(步骤S502)，基于该边缘生成角度信息(步骤S503)。

角度直方图制作部107根据生成的角度信息制作(生成)角度直方图(步骤S504)，角度峰值判定部108检索角度直方图上的峰值(步骤S505)。

然后，进行是否存在角度峰值的判定(步骤S506)，在存在的情况下，判定该峰值是否大到表示构造物的程度(步骤S507)。

在判定为构造物存在的情况下(步骤S507：是)，构造物区域估计部109为了生成构造物区域掩膜而进行构造物的区域扩大处理(步骤S508)。

构造物区域扩大后，构造物区域掩膜生成部110生成构造物区域的掩膜(步骤S507：是)，并覆盖生成的掩膜(步骤S510)。构造物区域掩膜后，调查存在于构造物区域的特征点的数量(步骤S511)，在特征点的数量未达到规定数量的情况下(步骤S511：否)，从非构造区域追加特征点(步骤S512)。

接着，从特征点数据储存部105读入图像2的特征点数据2。

然后，由旋转矩阵计算部112计算表示在图像1、图像2间产生的运动的旋转矩阵(步骤S513)，图像校正部113使用计算出的旋转矩阵进行图像的校正(步骤S514)。

根据该结构，在构造物区域掩膜生成部110及构造物区域掩膜部111中，能够取得构造物区域的特征点，从而能够进行包含近景区域的影像、或在远景区域中较多包含自然物等的影像中的匹配，能够估计正确的抖动量。

这样，综上所述，能够更可靠地进行正确的对位。即，例如构筑如下的装置，其具备：图像取得部，分别取得第一图像和在第一图像的紧之后的第二图像；特征点提取部，提取特征点；掩膜图像生成部，基于第一图像生成掩膜图像；特征点掩膜部，在第一图像的特征点上覆盖掩膜；图像校正部，使用旋转矩阵，该旋转矩阵是使用掩膜后的第一图像的特征点和第二图像的特征点计算出的。

(实施方式2)

图12是表示本发明的实施方式2的整体图。

在图12中，对于与图1相同的结构要素适当使用相同的符号并省略其说明。

与实施方式1的结构要素的区别为特征点选择部114。在特征点选择部114中，使用特征点得分以外的基准，从由特征点提取部104生成的特征点数据1的1个以上特征点之中选择匹配处理所使用的特征点。

在此，在特征点提取部104中，对每个像素计算表示边缘的交叉度的特征点得分。因此，理论上每个像素都存在特征点得分。另一方面，使用计算出的所有特征点来进行匹配处理，在计算成本和运算精度方面考虑并不优选。因此，在实施方式1中，按照特征点得分从高到低的顺序使用规定数量的特征点。但是，特征点得分是仅以亮度值为基准的得分。因此，在网纹这样的、对比度差较强烈的物体在远景集中存在的情况下等，有时照相机的抖动量的估计会失败。这是因为，在仅以亮度值为基础的特征点得分，无法反映图像整体的特征。因此，需要特征点得分以外的基准。

上述特征点得分以外的基准之一有图像内的特征点的位置关系。将特征点的位置关系作为选择基准来使用，是为了避免以下情况。即，在某特定的区域中，密集着特征点得分较高的1个以上特征点，在选择了这些1个以上特征点的情况下，较多地使用图像的局部特征点，有时会匹配失败。这种情况的发生是可以避免的。此外，在采用这样的多个特征点之间的距离的情况下，图像上的一定间隔的距离根据例如摄像部101的焦点距离或画角等来动态地设定。在特征点选择部114中，像这样使用特征点得分以外的基准来进行匹配所使用的特征点的选择。

另外，在此，作为特征点得分以外的特征点选择基准，可以使用特征点的周围的亮度梯度信息。此外，作为特征点得分以外的特征点选择基准，也可以使用图像内的多个特征点之间的相对的距离的关系。另外，在特征点选择部114中，未考虑哪一个特征点与图像内的远景/近景区域的哪一个特征点相对应。因此，由特征点选择部114生成的特征点包含从远景/近景区域两者的区域生成的特征点。

这样，也可以利用从基于图像中的纵·横向的边缘信息生成的角度信息得到的倾斜角度直方图。并且，通过进行该利用，提取存在于图像中的远景区域的构造物区域，并进行扩大·插补处理，从而能够提取存在于图像中的远景区域的构造物区域。也可以是，提供如下图像处理装置，优先使用从该构造物区域得到的特征点，并估计在2个帧间产生的照相机的抖动量，即使在包含近景区域的情况下，也能够估计对于远景区域的照相机的抖动量。

这样，例如，构造物是指大厦或柱子、窗户等具有几何学结构的对象。即，构造物满足为了估计抖动量所需的条件，即，几乎不产生帧间的运动，或者即使产生运动，但运动较小且其运动的方向相同。此外，构造物由于其几何学结构，具有图像上的边缘分布在确定的线段上的趋势较高的特征。

并且，根据实施方式，在构造物区域掩膜生成部110及构造物区域掩膜部111中，能够取得这样的构造物的区域的特征点。由此，能够进行包含近景区域的影像、或者在远景区域中较多地包含自然物等的影像中的匹配，能够估计正确的抖动量。

另外，也可以像这样例如将多个结构组合，从而产生来自组合的相乘效果。与此相对，在以往例中，这些多个结构中的全部或一部分缺失，因此不产生相乘效果，在这一点上本技术和以往例不同。

另外，也可以构筑例如包含摄像部101和图像处理装置100的系统100x(图2)。

另外，在该图像处理装置100中，也可以进行例如以下运动。

即，图像1也可以包含近景区域和远景区域。

在此，如上所述，近景区域是例如拍摄有比较近的位置的区域，也可以拍摄有人(行人等)等。

另一方面，远景区域是例如拍摄有离照相机比较远的位置的区域，也可以拍摄自然物(随风抖动的树等)即柱子、窗户等具有几何学结构的对象(构造物)等。

并且，也可以是，如上所述，由于近景区域拍摄有行人等，所以包含了比较不适于抖动量的估计的特征点，另一方面，远景区域包含比较适于抖动量的估计的特征点。

但是，如果仅由于位置远而使用该位置的物体的特征点来进行抖动量的估计，则连构造物以外的自然物(随风晃动的树等)中的特征点也被估计。

在此，也可以检测在远景区域中拍摄的构造物所表现出的、分布在线段上的边缘(S502～S510)。

另外，检测到的边缘具体来说，例如如上所述，是多个边缘中的、角度直方图的峰值的角度的边缘等(参照S506：是等)。

并且，也可以通过检测到边缘的构造物中的特征点来进行抖动量的估计(步骤S513)。

即，具体来说，例如如上所述，也可以生成确定抖动量的旋转矩阵(步骤S513)。

另外，也可以对图像2进行与估计出的抖动量相对应的校正(S514)。

这样，在远景区域中较多地包含自然物的影像等中，也能够进行正确的对位(合适的估计)，能够可靠地进行合适的估计。

另外，也可以考虑存在包含构造物区域掩膜生成部110的掩膜生成部110x。并且，更具体地说，例如角度计算部106～构造物区域估计部109也可以包含在该掩膜生成部110x中。

这样，例如也可以进行以下动作。

在拍摄第一图像101a(图13)和第二图像101b的期间，拍摄各个图像的摄像部101也可以进行运动101m。

例如，也可以是，第一图像101a是上述的先拍摄的第一图像101I(图1等)，另一方面第二图像101b是后拍摄的第二图像102I。

在第一图像101a中也可以有第一位置101p。

在第二图像101b中也可以有拍摄有与向第一位置101p拍摄的部位相同部位的第二位置101q。

也可以根据这些第一、第二位置101p、101q确定运动101m。

另外，在图13中，为了便于图示，图示有第二位置101q的部位是示意性地与图示与第一位置101p的部位一定程度地较大偏离的部位。

另外，具体地说，除了这些第一、第二位置101p、101q以外，也可以通过还使用其他信息，来进行上述确定。

第一、第二图像101a、101b中的一方的图像101I也可以校正为校正后的图像113a(图像校正部113)。

即，在一方的图像101I中，例如存在通过上述第一位置101p和第二位置101q之间的位置的偏移等的摄像部101的运动101m产生的位置的偏移。

并且，校正后的图像113a也可以是，对一方的图像101I所具有的这样的偏移进行了补偿的、消除了上述偏移后的图像。

另外，一方的图像101I是例如后拍摄一方的第二图像101b。

但是，可以考虑摄像部101安装在进行拍摄的用户的身体上。

例如，也可以是，在孩子的运动会等上，通过安装在该孩子的父亲的身体上的拍摄装置(例如数字照相机、摄影机等)所具备的摄像部101进行拍摄，避免需要用手握持该拍摄装置。

此外，还可以想到通过安装在警察的车辆等车辆上的摄像部101来进行拍摄。

此外，如上所述，还可以想到在步行时一边步行一边拍摄，或无取景器地拍摄。

在这些情况等中，设想运动101m的大小比较大。

在此，在这些情况等中，也可以进行以下动作。

即，作为第一图像101a中的位置101x，也可以有拍摄有构造物的位置101s(图13)和其他位置101n(参照图2等)。

构造物例如是建筑物等。

其他位置101n是拍摄有人物、森林(树林)的位置等。

构造物的位置101s，设想该构造物与人物等相比距离摄像部101更远，包含在第一图像101a中的远景区域中。

此外，可以认为构造物与人物动作、森林的树枝和树叶等随着风的强度运动不同，不动而处于静止。

相反，设想其他位置101n包含在近景区域中，或者在该位置101n映出的人物等运动较多。

因此，若进行将构造物的位置101p作为上述第一位置101p的、运动101m的确定的处理，则进行比较合适的处理。

合适是指，例如确定的运动101m的精度是比较高的精度，确定较难失败等。

相反，若进行将其他位置101n作为第一位置101p的确定的处理，则进行比较不合适的处理。

不合适是指，例如确定的运动101m的精度是比较低的精度，确定容易失败等。

在此，也可以判定位置101x(图13)是拍摄有构造物的位置101s，还是其他位置101n(参照特征点掩膜部111x、S509等)。

即，在第一图像101a中，也可以表示构造物的直线(参照图2的直线110L)。

另外，该直线是例如该直线所表示的构造物即建筑物(区域101F的被摄体)的轮廓的直线，或该建筑物的窗框的直线等(参照图2等)。

即，也可以是，位置101x是该直线上的位置的情况下，判定为是构造物的位置101p，不是该直线上的位置的情况下，判定为是其他位置101n。

另外，具体地说，也可以是，通过检测到直线(直线110L)，判定位置101x是否是检测到的直线上的位置，并进行上述处理。

此外，考虑以下的第一、第二条件。

即，第一条件是在位置101x上存在直线所形成的边缘的条件。

第二条件是与位于位置101x(例如图2的位置101s)的该边缘的角度(参照图2中的边缘的法线的角度110b1)相对应的角度相关的。另外，例如特征点掩膜部111x的一部分是构造物区域掩膜部111。

即，对应的角度也可以是例如与位置101x的角度(角度110b1)相同的角度(角度110b1)。

此外，对应的角度也可以是例如与位置101x的角度相同的角度(角度110b1)或与该角度相差90度的角度(角度110b2)的任一个角度等。

即，例如，对应的角度是指，存在该角度(例如角度110b1)的边缘的位置(参照位置110Lp)的个数(参照图5的个数110bN)为阈值以上的情况下，(估计为)位置101x是直线上的点的角度。

即，第二条件是，存在与位置101x的边缘的角度对应的角度(上述)的边缘的位置(位置110Lp等)的个数(参照图5的个数110bN)多于阈值的条件。

并且，在满足这些第一、第二条件的任一个的情况下，判定为位置101x是拍摄有构造物的位置101s，在不满任一条件的情况下，判定为其他位置101n。

由此，基于拍摄有构造物的位置101s(图2)进行运动101m的确定，不进行基于其他位置101n的确定，能够使确定的运动101m的精度较高，不易发生确定失败。

另外，接着，进行基于确定的运动101m的一方的图像101I的校正，能够进行较高精度的校正，能够使校正不易失败。

另外，进一步更具体地说，如上所述，也可以通过掩膜生成部110x生成确定区域(掩膜区域)的数据110a(图13)。

另外，生成的数据110a也可以是例如上述的确定掩膜图像的数据。

也可以是，确定的区域在该区域中包含有位置101x的情况下，该位置101x是拍摄有构造物的位置101s，另一方面，不包含的情况下，是作为其他位置101n的区域。

并且，也可以是，通过特征点提取部104生成将由该特征点提取部104提取的特征点(上述)作为上述位置101x来确定的数据104a。

并且，也可以是，确定的位置101x包含在通过生成的数据112a确定的上述区域(掩膜区域)中的情况下，判定为该位置101x是构造物的位置101s，在不包含的情况下，判定为是其他位置101n。

并且，生成数据112a，该数据112a确定被判定为构造物的位置101s的位置101x，不确定被判定为其他位置101n的位置101x。

并且，也可以是，基于通过生成的数据112a确定的位置101x，进行将该位置101x作为上述第一位置101p的运动101m的确定的处理，并生成表示确定的运动101m的数据112d。

另外，生成的数据112d例如是确定上述的确定的运动101m的旋转矩阵的数据等。

并且，也可以基于生成的数据112d进行上述的、从一方的图像110I向校正后的图像113a的校正。

另外，基于这样的确定的运动101m的校正的处理也可以是例如流用了以往技术的处理等。

另外，如上所述，也可以是，作为判定为拍摄有构造物的位置101x，确定2以上的个数的位置101x中的每个位置101x。

并且，根据每个位置101x确定的运动的平均的运动等也可以作为上述的运动101m来确定。

这样，在运动101m的确定的处理中，也可以是，判定为拍摄有构造物的位置101s的位置101x作为第一位置101p使用，并且判定为其他位置101n的位置101x作为第一位置101p使用。

另外，也可以确定第一图像101a中的直线(图2的直线110L)。并且，也可以是，通过判定在确定的直线上是否有位置101x，来判定上述的位置101x是否为拍摄有构造物的位置101s。

另外，也可以构成具备图像处理装置100及摄像部101的照相机(数字照相机等)。

此外，也可以构成为包含作为摄像部101的数字照相机等和图像处理装置100而成的系统100x，上述图像处理装置100是进行由摄像部101拍摄的第一、第二图像101a、101b的图像处理的计算机(个人计算机等)。

另外，摄像部101的运动101m也可以是例如握持摄像部101的用户的手的手指关节等的、绕着预先决定的中心的旋转运动。也可以生成作为确定这样的旋转运动的旋转矩阵数据112d。

另外，也可以这样使用多个基准来选择校正的处理所使用的特征点。即，例如，确定(选择)满足第一基准的条件且满足第二基准的条件的特征点，并使用确定的特征点。第一条件是该特征点包含在上述掩膜区域中的条件，另一方面，第二条件也可以是其他合适的条件。

另外，基于实施方式说明了本发明，但是本发明不限于这些实施方式。本领域技术人员对实施方式实施了想到的变形而得的形态也包含在本发明中。此外，将实施方式中的结构要素任意组合而实现的其他形态也包含在本发明中。

上述实施方式只是一例，只要应用了本发明，任何情况的形态都属于本发明的范围。

例如，可以将多个实施方式等的、在相互离开的部位记载的多个要素适当组合。这样的组合的形态也被公开。

此外，本发明不仅能够作为图像处理装置实现，作为将构成图像处理装置的处理手段作为步骤的方法也能够实现。并且，本发明作为使计算机执行这些步骤的程序也能够实现。进而，本发明作为存储该程序的计算机可读取的CD-ROM等存储介质也能够实现。

此外，可以构筑安装了上述技术下的各功能的集成电路，也可以构筑用于使计算机实现各功能的计算机程序，还可以构筑这些种类以外的其他种类。另外，上述集成电路可以是LSI(Large Scale Integration/大规模集成电路)，也可以是其他种类的集成电路。此外，可以构筑包含上述工序的方法、制造上述各种器件的制造方法、将上述计算机程序通信的方法、存储的方法等各种方法，也可以构筑包含上述计算机程序的数据具有的数据结构等。

工业实用性

本发明的图像处理装置作为数字静物照相机、摄影机、佩戴式照相机、个人计算机的软件等影像校正处理装置是有用的。

能够提高确定的摄像部的运动(参照图13的运动101m)的精度，能够使运动的确定不易失败。

符号说明

100图像处理装置

101摄像部

101a第一图像

101b第二图像

101F区域

102图像数据储存部

103图像输入部

104特征点提取部

105特征点数据储存部

106角度计算部

107角度直方图制作部

107d直方图

108角度峰值判定部

109构造物区域估计部

110构造物区域掩膜生成部

110aI掩膜图像

110x掩膜生成部

111构造物区域掩膜部

111x特征点掩膜部

112旋转矩阵计算部

113图像校正部

Claims (10)

1.一种图像处理装置，其特征在于，具备：

图像取得部，分别取得第二图像和在拍摄所述第二图像之前先拍摄的第一图像；

特征点提取部，从取得的所述第一、第二图像中的各个图像提取该图像中的特征点；

掩膜图像生成部，基于所述第一图像中的边缘生成掩膜图像；

特征点掩膜部，在由所述特征点提取部提取的所述第一图像的所述特征点上覆盖由所述掩膜图像生成部生成的所述掩膜图像的掩膜；

计算部，通过由所述特征点掩膜部进行掩膜，使用从2个以上所述特征点中确定的所述特征点和提取的所述第二图像的所述特征点，计算第一、第二图像间的位置关系；以及

图像校正部，使用由所述计算部计算的所述位置关系，对所述第一、第二图像中的一方的图像进行校正，

所述掩膜图像生成部根据基于所述第一图像中的边缘计算出的角度信息，生成所述掩膜图像。

2.如权利要求1所述的图像处理装置，其特征在于，

生成的所述掩膜图像是，对拍摄有存在于所述第一图像中的被摄体中的、作为构造物的被摄体的区域进行掩膜的掩膜图像。

3.如权利要求1所述的图像处理装置，其特征在于，

所述掩膜图像生成部生成如下的所述掩膜图像，该掩膜图像对包含下述像素而成的区域进行掩膜，该像素是根据所述角度信息制作成的角度直方图上的、具有峰值的角度的各个像素。

4.如权利要求1所述的图像处理装置，其特征在于，

在根据所述角度信息制作成的角度直方图上的峰值的角度存在多个的情况下，

所述掩膜图像生成部生成如下的所述掩膜图像，该掩膜图像对于多个所述峰值的角度中的各个所述角度，对包含存在具有该角度的边缘的各个像素而成的区域进行掩膜。

5.如权利要求1所述的图像处理装置，其特征在于，

所述掩膜图像生成部生成如下的所述掩膜图像，并将被进行掩膜的区域扩大，

该掩膜图像对在所述第一图像上包含具有根据所述角度信息制作成的该图像的角度直方图上的峰值的角度的像素以及该像素的一定范围的各个相邻像素在内的区域进行掩膜。

6.如权利要求1所述的图像处理装置，其特征在于，

所述掩膜图像生成部将所述第一图像中的、具有与根据所述角度信息制作成的所述第一图像的角度直方图上的峰值的角度处于一定的误差内的角度的像素，作为被进行掩膜的区域的像素，并将被进行掩膜的区域扩大。

7.如权利要求1所述的图像处理装置，其特征在于，

所述特征点提取部使用多个基准进行特征点的选择。

8.如权利要求1所述的图像处理装置，其特征在于，

所述第一图像是存在第一特征点的图像，

所述第二图像是存在第二特征点的图像，该第二特征点被拍摄了与对所述第一特征点拍摄的部位相同部位，

所述计算部计算所述第一特征点和所述第二特征点之间的所述位置关系，

所述图像校正部根据所述一方的图像，生成对所述一方的图像中的基于计算出的所述位置关系的位置的偏移进行了校正后的图像，

所述特征点掩膜部判定所述第一图像中的所述第一特征点是否是预先决定的特征点，

所述预先决定的特征点是，在该特征点中存在边缘，并且所述第一图像中的存在与该边缘的角度相同角度的边缘的位置的个数为峰值的个数的特征点，且是所述第一图像中的映出建筑物的区域中的特征点，

所述计算部仅在判定为所述特征点是所述预先决定的特征点的情况下，进行将该特征点作为所述第一特征点的所述位置关系的计算，在判定为不是所述预先决定的特征点的情况下，不进行基于该特征点的所述计算。

9.一种集成电路，其特征在于，具备：

图像取得部，分别取得第二图像和在拍摄所述第二图像之前先拍摄的第一图像；

特征点提取部，从取得的所述第一、第二图像中的各个图像提取该图像中的特征点；

掩膜图像生成部，基于所述第一图像中的边缘生成掩膜图像；

特征点掩膜部，在由所述特征点提取部提取的所述第一图像的所述特征点上覆盖由所述掩膜图像生成部生成的所述掩膜图像的掩膜；

计算部，通过由所述特征点掩膜部进行掩膜，使用从2个以上所述特征点中确定的所述特征点和提取的所述第二图像的所述特征点，计算第一、第二图像间的位置关系；以及

图像校正部，使用由所述计算部计算的所述位置关系，对所述第一、第二图像中的一方的图像进行校正，

所述掩膜图像生成部根据基于所述第一图像中的边缘计算出的角度信息，生成所述掩膜图像。

10.一种图像处理方法，其特征在于，具备以下步骤：

图像取得步骤，分别取得第二图像和在拍摄所述第二图像之前先拍摄的第一图像；

特征点提取步骤，从取得的所述第一、第二图像中的各个图像提取该图像中的特征点；

掩膜图像生成步骤，基于所述第一图像中的边缘生成掩膜图像；

特征点掩膜步骤，在由所述特征点提取步骤提取的所述第一图像的所述特征点上覆盖由所述掩膜图像生成步骤生成的所述掩膜图像的掩膜；

计算步骤，通过由所述特征点掩膜步骤进行掩膜，使用从2个以上的所述特征点中确定的所述特征点和提取的所述第二图像的所述特征点，计算第一、第二图像间的位置关系；以及

图像校正步骤，使用由所述计算步骤计算的所述位置关系，对所述第一、第二图像中的一方的图像进行校正，

所述掩膜图像生成步骤中，根据基于所述第一图像中的边缘计算出的角度信息，生成所述掩膜图像。