CN103312975B - 图像处理装置、以及图像处理方法 - Google Patents

Abstract

图像处理装置(1)在全景图像生成处理中，具备：进行相邻的拍摄图像的对位的对位部(55)；和基于该对位结果来合成相邻的拍摄图像由此生成全景图像的数据的全景图像生成部(56)。此时，对位部(55)具备：对相邻的拍摄图像间的多个特征点的矢量进行计算的特征点追踪部(552)；基于计算出的多个特征点的矢量，避开拍摄图像中的运动物体来进行相邻的拍摄图像的对位的图像对位部(554)。

Description

图像处理装置、以及图像处理方法

技术领域

本发明涉及对图像进行合成的图像处理装置、以及图像处理方法。

背景技术

数字照相机、以及具有拍摄功能的便携式电话等中，拍摄视场角的界限依赖于透镜的焦点距离、拍摄元件的尺寸等装置主体所具备的硬件条件。在此，以往已知为了获取超过硬件规格的广角图像的所谓的全景拍摄的技术。

为了实现全景拍摄，例如用户维持按下操作快门开关的状态，以自身的身体为轴，使数字照相机在垂直方向大致固定不变地，在水平方向上进行旋转地移动。于是，数字照相机在该期间执行多次拍摄处理，将作为该多次拍摄处理的各次拍摄处理的结果而获得的多个图像(以下，称为“拍摄图像”)的数据在横方向(水平方向)进行合成，由此来生成全景图像等的广角图像的数据。

关于全景拍摄的方法，例如，在日本特开平11-282100号公报中公开了下述的方法，即：在每进行多次拍摄处理时，对拍摄图像中的特征点进行检测，按照相邻的2张拍摄图像的特征点相一致的方式将该2张拍摄图像的数据进行合成，由此来生成全景图像的数据。

但是，在以全景图像为代表的广角图像的拍摄中，在拍摄对象中包含与数字照相机的移动无关而进行移动的运动物体的情况，在仅注视特征点的一致地对相邻的拍摄图像进行合成的专利文献1的方法中，则有可能生成存在不协调感的全景图像的数据。

关于该点，参照图6进行具体说明。图6是表示作为全景拍摄的结果而获得的全景图像P1的一个示例的图。图6B所示的全景图像P1的数据是通过对图6A所示的多个拍摄图像F1、F2、F3、F4、F5的各数据进行合成所获得的全景图像的数据。参照图6A，在多个拍摄图像F1～F5中，包含有运动物体M1、M2、M3、M4。在对包含这样的运动物体M1～M4的拍摄图像F1～F5的各数据以现有的方法进行合成的情况下，则可能会将运动物体M1～M4的一部分切除，作为结果，如图6B所示那样，可能生成具有不协调感的全景图像P1的数据。

发明内容

本发明是鉴于这样的问题而进行的，目的在于生成没有不协调感的合成图像。

解决课题的手段

本发明的一形态的图像处理装置的特征在于，具备：取得单元，其取得伴随着拍摄部的移动而由该拍摄部连续拍摄得到的多个图像；分割单元，其将所述取得单元所取得的图像分割成多个区域；特征点检测单元，其分别对所述分割单元分割得到的多个区域中的特征点进行检测；矢量计算单元，其基于所述特征点检测单元分别检测出的特征点，分别计算与所述多个图像的相邻的图像间的所述多个区域对应的矢量进行计算；区域选择单元，其基于所述矢量计算单元计算出的多个矢量，从进行分割得到的多个区域中选择特定的区域；和合成单元，其基于所述区域选择单元选择出的特定的区域，对所述相邻的图像彼此进行合成。

本发明的一形态的图像处理方法的特征在于，包括：取得步骤，取得伴随着拍摄部的移动而由该拍摄部连续拍摄得到的多个图像；分割步骤，将所述取得步骤中取得的图像分割成多个区域；特征点检测步骤，分别对所述分割步骤中分割得到的多个区域中的特征点进行检测；矢量计算步骤，基于所述特征点检测步骤中分别检测出的特征点，分别计算与所述多个区域对应的所述多个图像间的矢量；区域选择步骤，基于所述矢量计算步骤中分别计算出的矢量，从所述多个区域中选择特定的区域；和合成步骤，基于所述区域选择步骤中选择出的特定的区域所具有的矢量，对所述多个图像彼此进行合成。

附图说明

图1是表示本发明的一实施方式所涉及的图像处理装置的硬件构成的框图。

图2是表示图1的图像处理装置的功能构成中的用于执行全景图像生成处理的功能构成的功能框图。

图3是用于说明图像处理部的对位部的功能的图。

图4是用于说明图像处理部的对位部以及全景图像生成部的功能的图。

图5是用于说明具有图2中的功能构成的图1中的图像处理装置所执行的全景图像生成处理的流程的流程图。

图6是表示作为全景拍摄的结果而获得的全景图像的图。

具体实施方式

以下，关于本发明的实施方式，参照附图进行说明。

图1是表示本发明的一实施方式所涉及的图像处理装置1的硬件构成的框图。

图像处理装置1例如作为数字照相机而构成。

图像处理装置1具备CPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、图像处理部14、总线15、输入输出接口16、拍摄部17、输入部18、输出部19、存储部20、通信部21、和驱动器22。

CPU11根据记录于ROM12中的程序或者从存储部20中加载至RAM13中的程序，来执行各种处理。

RAM13中也适宜地存储CPU11在执行各种处理上所需的数据等。

图像处理部14由DSP(Digital Signal Processor：数字信号处理器)、VRAM(VideoRandom Access Memory：视频随机存取存储器)等构成，与CPU11进行协动，对图像的数据实施各种图像处理。

CPU11、ROM12以及RAM13经由总线15相互地连接。该总线15还与输入输出接口16连接。输入输出接口16上连接有拍摄部17、输入部18、输出部19、存储部20、通信部21以及驱动器22。

拍摄部17未图示，其具备光学透镜部、和图像传感器。

光学透镜部为了能够对被摄体进行摄影而由对光进行聚光的透镜、例如聚焦透镜、变焦透镜等构成。聚焦透镜是使被写体像在图像传感器的受光面进行成像的透镜。变焦透镜是使焦点距离在一定的范围内自由地变化的透镜。光学透镜部根据必要，还设置有用于对焦点、曝光、白平衡等的设定参数进行调整的外围电路。

图像传感器由光电变换元件、AFE(Analog Front End：模拟前端)等构成。光电变换元件例如由CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)型的光电变换元件等构成。被摄体像从光学透镜部入射至光电变换元件。在此，光电变换元件对被摄体像进行光电变换(拍摄)，并在一定时间蓄积图像信号，将所蓄积的图像信号作为模拟信号而依次提供给AFE。

AFE对该模拟的图像信号执行A/D(Analog/Digital)变换处理等的各种信号处理。通过各种信号处理生成数字信号，并作为拍摄部17的输出信号而进行输出。

以下将这样的拍摄部17的输出信号称为“拍摄图像的数据”。拍摄图像的数据将向CPU11、图像处理部14等适宜地供给。

输入部18由快门开关等的各种按钮构成，根据用户的指示操作而输出各种信息、命令。

输出部19由显示器、扬声器等构成，输出图像、声音。

存储部20由硬盘或DRAM(Dynamic Random Access Memory：动态随机存取存储器)等构成，存储各种图像的数据。

通信部21经由包含因特网的网络，控制与其他的装置(未图示)之间进行的通信。

对驱动器22适宜地安装磁盘、光盘、光磁盘或半导体存储器等构成的可移动介质31。通过驱动器22而从可移动介质31中所读出的程序将根据必要而安装到存储部20中。另外，可移动介质31也能够与存储部20相同地存储在存储部20所存储的图像的数据等的各种数据。

图2是表示这样的图像处理装置1的功能构成中用于执行全景图像生成处理的功能构成的功能框图。在此，“全景图像生成处理”是指利用连续取得的多个拍摄图像的数据来生成全景图像的数据的处理。此外，“全景图像”是与通过35毫米银盐胶片拍摄得到的2∶3的纵横比的图像、通过数字照相机拍摄得到的3∶4的纵横比的图像相比较，横长或者纵长的广角图像的一个示例。

图像处理装置1在执行全景图像生成处理的情况下，CPU11作为拍摄控制部51以及存储控制部52发挥功能。该情况下，在存储部20中设有作为对拍摄图像的数据、全景图像的数据等的各种图像的数据进行存储的区域的图像存储部53。

拍摄控制部51控制拍摄部17所进行的各种拍摄动作。

详细而言，用户保持作为数字照相机的图像处理装置1，并对输入部18的快门开关进行了按下操作时，图像处理装置1开始全景图像生成处理。全景图像生成处理开始时，拍摄控制部51使拍摄部17的连续拍摄的动作开始，每经过一定时间时，或者图像处理装置1每移动了规定量时使得对图像进行拍摄。

此期间，在用户维持快门开关的按下操作的状态不变的状态经过了规定时间的情况或数字照相机移动了规定量的情况等的规定条件得到满足时，拍摄控制部51使拍摄部17中的连续拍摄的动作结束，并结束全景图像生成处理。

存储控制部52执行如下的控制，即：将作为全景图像生成处理的结果而生成的全景图像的数据等的各种图像的数据存储到图像存储部53中的控制。

另外，在图像处理装置1执行全景图像生成处理的情况下，图像处理部14作为图像取得部54、对位部55以及全景图像生成部56而发挥功能。

图像取得部54逐次取得由拍摄部17的连续拍摄的动作而输来的多个拍摄图像的数据，即连续拍摄得到的多个图像的数据。

对位部55将图像取得部54所取得的多个拍摄图像的数据的各个数据作为处理对象，进行该多个拍摄图像中相邻的拍摄图像彼此的对位。此外，相邻的拍摄图像是指，连续拍摄得到的多个拍摄图像中的第n张(n为1以上的整数值)的拍摄图像与第n+1张的拍摄图像。

在此，为了防止发生以人物等的运动物体与数字照相机的移动无关地进行移动为原因而生成具有不协调感的全景图像的数据，本实施方式的对位部55构成为包含特征点检测部551、特征点追踪部552、类似度计算部553、和图像对位部554。此时，特征点检测部551作为特征点检测单元而发挥功能，特征点追踪部552作为矢量计算单元而发挥功能，类似度计算部553以及图像对位部554作为区域选择单元而发挥功能。

特征点检测部551将图像取得部54所取得的多个拍摄图像的数据的各个数据作为处理对象，从拍摄图像中对多个特征点进行检测。即，特征点检测部551在每次图像取得部54取得拍摄图像的数据时，从取得的拍摄图像中对多个特征点进行检测。此外，特征点检测部551将检测出的特征点与图像取得部54所取得的拍摄图像的数据建立对应地存储到图像存储部53中。

此时，特征点检测部551将拍摄图像分割为多个连续的区域(分区)的基础上，从该多个区域的各个区域中，对特征点进行检测。此外，分割拍摄图像而得到的区域能够是任意的形状，例如，可采用矩形状的区域。另外，如后述那样，多个区域在数字照相机的移动方向(以下，称为“全景拍摄方向”)以及与该方向大致正交的方向上连续地配置。此外，大致正交是指，由于因手抖等而全景拍摄方向不成为直线状，为了便于说明，其成为垂直方向相对于水平方向的全景拍摄方向而大致正交的方向。

在此，从拍摄图像中对特征点进行检测的方法能够采用至此已公知的方法，例如，能够利用SIFT(Scale Invariant Feature Transform：量级不变特征转换)，另外，也能够利用哈里斯的拐角检测，另外，也可以利用其他的方法。

特征点追踪部552将相邻的拍摄图像的各自中的多个特征点作为处理对象，针对多个特征点的每一个，对在相邻的拍摄图像中表示该特征点怎样地移动的矢量，即所谓的移动矢量进行计算。即，特征点追踪部552在特征点检测部551从第n+1张的拍摄图像中检测出多个特征点时，将从检测出的第n+1张的拍摄图像的特征点中，对与存储在图像存储部53中的第n张的拍摄图像的特征点对应的对应点进行特定，将从第n张的拍摄图像的特征点至第n+1张的拍摄图像的对应点为止的矢量作为该特征点的矢量进行计算。此时，特征点追踪部552将计算出的矢量与第n张的拍摄图像的数据建立对应地存储到图像存储部53中。此外，本实施方式中矢量是表示特征点进行了移动的方向以及移动的大小(距离)。

类似度计算部553将特征点追踪部552计算出的矢量作为处理对象，对图像中的每个区域的矢量的类似度进行计算。运动物体由于是与数字照相机的移动无关地进行移动，类似度计算部553通过计算出矢量的类似度，来确定第n张的拍摄图像中的运动物体的位置。通过避开如此地所确定的运动物体的位置，来对相邻的拍摄图像彼此进行对位，由此，能够防止生成具有不协调感的全景图像的数据。

在此，全景图像生成处理中，一般沿着与全景拍摄方向大致正交的方向的直线状，进行相邻的拍摄图像的数据的对位。在此，类似度计算部553针对多个区域中在与全景拍摄方向大致正交的方向上相邻配置的一群区域的各区域，对矢量的类似度进行计算。此外，数字照相机中，根据透镜的变形等的关系，对拍摄图像的端部(上端、下端、左端、右端)施加若干修正，因此，类似度计算部553优选仅将除去了拍摄图像的端部后的中心附近的区域作为对象，来计算矢量的类似度。此时，关于中心附近的区域的尺寸，例如，可基于透镜性能进行设定，另外，也可以基于如数字照相机的移动速度、拍摄定时那样相邻的拍摄图像间的移动距离来进行设定(在移动大的情况下，中心附近也大，移动小的情况下中心附近也小)，能够任意地设定。可仅在计算矢量的类似度时适用利用这样的中心附近的区域，另外，也可在对特征点进行检测时的区域分割之时适用利用这样的中心附近的区域。

此外，矢量的类似度意味着特征点的移动的方向以及移动的大小相类似，本实施方式中，通过SAD(Sum of Absolute Difference：绝对差别的和)计算来进行计算。即，类似度计算部553通过对一群区域内相邻的矢量的差分计算并相加来计算出矢量的类似度。在这样的SAD计算中，运算结果越小，意味着一群区域内的矢量越类似，运算结果越大则意味着一群区域内的矢量越不相类似。此时，在对一群区域所含的多个区域的特征点中包含不能确定出对应点的特征点的情况下，类似度计算部553优选判断为该一群区域内的矢量不类似。这是由于伴随着运动物体的移动(例如，由于运动物体移动至第n+1张的特征点的前面)而不能确定出对应点的可能性较高的缘故。此外，类似度的计算并不限于通过SAD计算，也能够通过任意的方法来进行计算，例如，能够通过SSD(Sum of Squared intensityDifference)计算、标准偏差等的公知的方法来进行计算。

图像对位部554基于特征点追踪部552计算出的特征点的矢量，进行相邻的拍摄图像彼此的对位。即，图像对位部554避开较其他的特征点而表示为异常的矢量的特征点的位置，进行相邻的拍摄图像彼此的对位。

更具体而言，图像对位部554基于类似度计算部553计算出的一群区域内的矢量的类似度，进行相邻的拍摄图像彼此的对位。在此，图像对位部554可以在各矢量在规定值以上相类似的一群区域的位置进行对位，也可在各矢量最类似的一群区域的位置进行对位。由此，能够在避开与数字照相机的移动无关地进行移动的运动物体的位置来进行相邻的拍摄图像彼此的对位。

全景图像生成部56将对位部55进行了对位的拍摄图像彼此的各数据进行合成，来生成全景图像的数据。另外，全景图像生成部56使生成的全景图像的数据存储到图像存储部53中。

接下来，关于全景图像生成处理的执行功能，参照图3以及图4进行具体说明。

图3是用于说明图像处理部14的对位部55的功能的图，图4是用于说明图像处理部14的对位部55以及全景图像生成部56的功能的图。在此，在图3以及图4中，将图中从左至右方向的设为全景拍摄方向。

参照图3A，图像取得部54依次取得连续拍摄得到的拍摄图像的数据。图3A中，取得拍摄图像70的数据以及拍摄图像80的数据。在此，拍摄图像70是第n张的拍摄图像，图中是将表示从左至右方向奔跑的人物的运动物体71以及表示背景的静体73作为拍摄对象的拍摄图像。另外，拍摄图像80是第n+1张的拍摄图像，是将运动物体81以及静体83作为拍摄对象的拍摄图像。

参照图3B，在图像取得部54取得拍摄图像的数据时，从特征点检测部551依次取得的拍摄图像中对每个区域的特征点进行检测，并且，特征点追踪部552对相邻的拍摄图像中的对应点进行确定。在图3B中，从第n张的拍摄图像70中检测出包含特征点A、B、C、D、E、F、G、H、I的多个特征点，从第n+1张的拍摄图像80中检测出与该特征点A至I对应的对应点A’、B’、C’、D’、E’、F’、G’、H’、I’。此外，特征点A至C、特征点D至F、特征点G至I分别是在与全景拍摄方向大致正交的方向上相邻的一群区域的特征点。另外，特征点A至G以及对应点A’至G’是从静体73、83检测出的特征点以及对应点，特征点H、I以及对应点H’、I’是从运动物体71、82检测出的特征点以及对应点。

参照图3C，特征点追踪部552在检测出相邻的拍摄图像中的特征点以及对应点时，对第n张的拍摄图像70的特征点至第n+1张的拍摄图像80的对应点为止的矢量进行计算。即，特征点追踪部552如图3C所示那样地，例如对特征点A至对应点A’为止的矢量进行计算。

如此地，特征点追踪部552计算出从特征点至对应点为止的矢量时，类似度计算部553针对与全景拍摄方向大致正交的方向上相邻配置的一群区域的各区域，计算矢量的类似度。在此，图3C中，关于特征点A至G分别至对应点A’至G’，大致计算出随着向全景拍摄方向的数字照相机的移动的矢量，而另一方面，关于特征点H、I分别至对应点H’、I’，计算出与数字照相机的移动无关的矢量。

由此，图像对位部554根据类似度计算部553计算出的类似度，判断为包含特征点A至C的一群区域以及包含特征点D至F的一群区域的矢量是类似的，判断为包含特征点G至I的一群区域的矢量是不类似的。

参照图4A，图像对位部554基于矢量的类似度判定的结果，进行相邻的拍摄图像彼此的对位。

在此，如图4B所示那样，由于图像对位部554将特征点A至C分别至对应点A’至C’为止的矢量判定为最类似，因此，设为在特征点A至C的位置进行对位。

即，图像对位部554如图4B所示那样，按照特征点A以及对应点A’，特征点B以及对应点B’，特征点C以及对应点C’相一致的方式进行拍摄图像70、80的对位。由此，成为在不包含拍摄图像70内的运动物体71的位置进行拍摄图像70、80的对位。

参照图4C，图像对位部554进行了拍摄图像70、80的对位时，全景图像生成部56基于该对位结果来合成拍摄图像70、80的数据，由此来生成合成图像90的数据。

这样，本实施方式的图像处理装置1中，避开运动物体71、81来进行拍摄图像70、80的对位，因此，能够防止生成运动物体71、81的一部分被切除这样的具有不协调感的合成图像的数据。即，如图4C所示，能够生成直接包含拍摄图像80内的运动物体81的合成图像90的数据。

另外，本实施方式的图像处理装置1由于避开运动物体而进行相邻的拍摄图像的对位，能够以各种形态来显示各自的拍摄图像所含的运动物体。即，能够生成完全不包含运动物体的全景图像的数据，另外，也可以生成仅包含1个运动物体的全景图像的数据，而且，能够生成表示运动物体连续地移动的样子的全景图像的数据。

关于这样的运动物体的显示形态，能够考虑特征点的矢量的类似度的基础上并考虑全景拍摄方向以及拍摄图像中的运动物体的位置来实现。例如，通过在较第n张的拍摄图像中的运动物体的位置而处于全景拍摄方向的后侧的位置进行对位，能够除去第n张的拍摄图像中所含的运动物体，通过在较第n张的拍摄图像中的运动物体的位置而处于全景拍摄方向的前侧的位置进行对位，能够显示第n张的拍摄图像中所含的运动物体。

接下来，参照图5，对全景图像生成处理进行说明。图5是表示具有图2的功能构成的图像处理装置1所执行的全景图像生成处理的流程的流程图。

此外，全景图像生成处理是以用户向输入部18输入的开始全景图像生成处理的操作、即快门按钮的按下操作等为契机而进行开始。

步骤S1中，拍摄控制部51按照拍摄部17进行连续拍摄的方式进行控制。

步骤S2中，图像取得部54在拍摄部17每进行拍摄则取得拍摄图像的数据。此时，图像取得部54将取得的拍摄图像的数据临时性存储到图像存储部53。

步骤S3中，特征点检测部551从步骤S2的处理中取得的拍摄图像的数据中检测出多个特征点，临时性存储到图像存储部53。

步骤S4中，特征点追踪部552对进行步骤S3的处理而得到的拍摄图像是否是第2张以后的图像进行判断。在是第2张以后的拍摄图像的情况下，步骤S4中判断为“是”，处理前进至步骤S5，在不是第2张目以后的图像，即是第1张的拍摄图像的情况下，步骤S4中判断为“否”，处理返回至步骤S1。

步骤S5中，特征点追踪部552从图像存储部53中通过对相邻的拍摄图像的特征点进行比较，来计算出相邻的拍摄图像间的多个特征点的矢量。

步骤S6中，类似度计算部553对步骤S5的处理中计算出的多个特征点的矢量的类似度进行计算。具体而言，类似度计算部553以在与全景拍摄方向正交的方向上相邻的一群区域的各区域，计算矢量的类似度。

步骤S7中，图像对位部554基于步骤S6的处理中计算出的矢量的类似度，进行相邻的拍摄图像的对位。例如，图像对位部554选择各矢量最类似的一群区域，在该区域的位置进行对位。

步骤S8中，全景图像生成部56对在合成步骤S7的处理中进行了对位的拍摄图像彼此的各数据进行合成，来生成全景图像的数据。

步骤S9中，CPU11判断是否要结束全景图像生成处理。例如，数字照相机移动了规定以上的情况下、受理了用户进行的规定的结束操作的情况下等，CPU11判断为要结束全景图像生成处理。步骤S9中判断为“是”时，存储控制部52将到此为止生成的全景图像的数据存储到图像存储部53中，结束全景图像生成处理。另外，步骤S9中判断为“否”时，处理转移至步骤S10。

步骤S10中，CPU11或者图像处理部14判断是否发生了错误。例如，在数字照相机在与全景拍摄方向正交的方向上移动了规定以上的情况(即，手抖较大的情况下)、从拍摄图像中不能检测出充分数量的特征点的情况下等，CPU11或者图像处理部14判断为已发生错误。步骤S10中判断为“是”时，全景图像生成处理结束，步骤S11中判断为“否”时，处理转移至步骤S1。

以上那样地构成的图像处理装置1具备：将从拍摄部17供给的拍摄图像的数据作为处理对象来进行相邻的拍摄图像彼此的对位的对位部55、基于对位部55的对位结果来合成相邻的拍摄图像的数据以生成全景图像的数据的全景图像生成部56。此时，对位部55具备对相邻的拍摄图像间的多个特征点的矢量进行计算的特征点追踪部552、基于计算出的多个特征点的矢量来进行相邻的拍摄图像彼此的对位的图像对位部554。

由此，能够避开矢量为异常的特征点的位置，即避开与数字照相机的移动无关地移动的运动物体的位置，能够进行相邻的拍摄图像彼此的对位。其结果，在作为合成的结果而获得的全景图像中，能够防止将运动物体的一部分切除，能够生成没有不协调感的全景图像的数据。

另外，图像处理装置1中，除了考虑特征点的矢量以外，该可以考虑全景拍摄方向和拍摄图像中的运动物体的位置，由此，能够以各种形态显示作为合成的结果而获得的全景图像中的运动物体。即，能够生成完全不包含运动物体的全景图像的数据，另外，也能够生成仅包含一个运动物体的全景图像的数据，另外，也能够生成表现运动物体连续地移动的样子的全景图像的数据。

此时，全景图像生成处理中，一般对在与全景拍摄方向大致正交的方向上相邻的拍摄图像的数据进行对位，因此，为了确定避开运动物体的位置，优选利用在与全景拍摄方向大致正交的方向上相邻的矢量的类似度。由此，能够以与全景拍摄方向大致正交的方向的直线状，对相邻的拍摄图像彼此进行对位，无需以波形状进行对位的情况那样的复杂的运算。

此外，关于“基于类似度”，能够在各矢量为规定以上类似的一群区域的位置进行对位，也可以在各个矢量最类似的一群区域的位置进行对位。在以规定的类似度进行对位的情况下，能够根据拍摄图像中的运动物体的位置，任意地进行对位，能够任意地设定运动物体的显示形态。另外，在以最类似的一群的位置进行对位的情况下，能够最自然地合成相邻的拍摄图像的数据。

另外，数字照相机中，由于根据透镜的变形等的关系，而一般对拍摄图像的端部施以若干的修正，因此，优选将除了拍摄图像的端部后的中心附近的区域作为对象来确定一群区域。由此，能够与透镜的变形无关地正确地计算出特征点的矢量，能够恰当地合成相邻的拍摄图像的数据。

以上，关于本实施方式的图像处理装置1进行了说明，但本发明并不限于上述的实施方式，在能够达成本发明的目的的范围内的变形、改良等包含在本发明中。

上述的实施方式的全景图像生成处理中，假定在每次取得拍摄图像的数据时进行相邻的拍摄图像的对位、合成。但是，也可以在取得了用于生成全景图像的数据的全部拍摄图像的数据后，一并进行对位、合成。

另外，上述的实施方式中，本发明所适用的图像处理装置1以数字照相机为例进行了说明，但并不限于此。

例如，本发明也可以一般地适用于具有全景图像生成功能的电子设备。具体而言，例如，本发明可适用于笔记本型的个人计算机、打印机、电视接收机、录像机、便携式导航装置、便携式电话机、手提式游戏机等。

上述的一系列处理能够通过硬件来执行，也能够通过软件来执行。

换言之，图2的功能构成仅仅是例示，并不特别限定。即，只要图像处理装置1具有将上述的一系列处理作为整体而能够执行的功能即可，而在为了实现该功能而利用怎样的功能模块这一点上，并不特别限于图2的例。

另外，作为1个功能模块能够以硬件单体来构成，也能够以软件单体构成，也可以通过这些的组合来构成。

在通过软件来执行一系列的处理的情况下，构成该软件的程序从网络、记录介质安装到计算机等。

计算机也可以是组入到专用的硬件中的计算机。另外，计算机可以是通过安装各种的程序来执行各种的功能的计算机，例如可以是通用的个人计算机。

关于包含这样的程序的记录介质，为了向用户提供程序而通过与装置主体不同地另配发的图1的可移动介质31来构成，也能由以预先组入到装置主体中的状态，对用户提供的记录介质等构成。可移动介质31例如由磁盘(包含软盘)、光盘、或者光磁盘等来构成。光盘例如由CD-ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disk)等构成。光磁盘由MD(Mini-Disk)等构成。另外，在预先组入到装置主体中的状态下，向用户提供的记录介质例如由记录有程序的图1的ROM12、图1的存储部20中所含的硬盘等来构成。

此外，本说明书中，关于记述被记录于记录介质的程序的步骤，当然包含能够以该顺序按时间序列地进行的处理，但也可以不按时间序列进行处理，可以包含并列或单个地执行的处理。

另外，本说明书中，“系统”的用语意味着由多个装置、多个单元构成的整体的装置。

以上，对本发明的几个实施方式进行了说明，但这些实施方式仅仅只是例示，并不用于限定本发明的技术的范围。本发明能够采用其他的各种实施方式，并且，在未脱离本发明的要旨的范围内，能够进行省略、置换等各种变更。这些实施方式或其变形包含在本说明书等所记载的发明的范围、要旨中，包含权利要求的范围所记载的发明与其均等的范围内。

Claims (5)

1.一种图像处理装置，其特征在于，具备：

取得单元，其取得伴随着拍摄部的移动而由该拍摄部连续拍摄得到的第1图像和第2图像；

分割单元，其将所述取得单元所取得的第1图像的基于(i)透镜性能或者(ii)所述第1图像以及所述第2图像间的移动距离所设定的中心附近的区域分割成多个区域；

特征点检测单元，其按每个区域分别检测所述多个区域中的第1特征点群；

矢量计算单元，其分别计算由所述特征点检测单元检测出的第1特征点群和与该第1特征点群对应的所述第2图像的特征点群间的矢量；

类似度计算单元，其计算由所述矢量计算单元计算出的矢量彼此的类似度；

区域选择单元，其基于由所述类似度计算单元计算出的类似度，从所述多个区域中选择特定的区域；和

合成单元，其基于由所述区域选择单元选择出的特定的区域所具有的矢量，对所述第1图像以及所述第2图像进行合成。

2.根据权利要求1所述的图像处理装置，其特征在于，

关于由所述分割单元进行分割得到的多个区域中的在与所述移动的方向大致正交的方向上相邻配置的一群区域，所述类似度计算单元对所计算出的所述矢量彼此的类似度进行计算，

所述区域选择单元基于由所述类似度计算单元计算出的类似度，选择所述一群区域作为所述特定的区域。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述类似度计算单元对于所述图像的中心部分的所述一群区域的各区域，计算所述矢量的类似度。

4.根据权利要求2所述的图像处理装置，其特征在于，

所述区域选择单元选择所述一群区域的各区域的所述矢量最为类似的位置，作为对所述多个图像彼此进行对位的区域。

5.一种图像处理方法，其特征在于，包括：

取得步骤，取得伴随着拍摄部的移动而由该拍摄部连续拍摄得到的第1图像和第2图像；

分割步骤，将通过所述取得步骤所取得的第1图像的基于(i)透镜性能或者(ii)所述第1图像以及所述第2图像间的移动距离所设定的中心附近的区域分割成多个区域；

特征点检测步骤，按每个区域分别对所述多个区域中的第1特征点群进行检测；

矢量计算步骤，分别计算通过所述特征点检测步骤检测出的第1特征点群和与该第1特征点群对应的所述第2图像的特征点群间的矢量；

类似度计算步骤，计算通过所述矢量计算步骤计算出的矢量彼此的类似度；

区域选择步骤，基于通过所述类似度计算步骤计算出的类似度，从所述多个区域中选择特定的区域；和

合成步骤，基于通过所述区域选择步骤选择出的特定的区域所具有的矢量，对所述第1图像以及所述第2图像进行合成。