CN106998413B - 图像处理设备、摄像设备、图像处理方法和介质 - Google Patents

Abstract

本发明提供一种图像处理设备、摄像设备和图像处理方法。图像处理设备用于通过对多个图像进行合成来生成全景图像，并且所述图像处理设备包括：第一获取部件，用于基于多个图像的共同区域来获取图像的第一移动量的信息；以及对准部件，用于基于第一移动量与根据用于拍摄多个图像的摄像设备的位置信息所获取到的图像的第二移动量之间的差信息、以及第二移动量的信息，来对多个图像进行对准。

Description

图像处理设备、摄像设备、图像处理方法和介质

技术领域

本发明涉及图像处理设备、摄像设备和图像处理方法。

背景技术

日本特开2005-328497提出了如下方法：通过顺次改变摄像方向、拍摄摄像范围的一部分、并且以使得在所拍摄的图像中的部分区域能够彼此重叠的方式对所拍摄的图像进行重合，来生成全景图像。日本特表2014-519739 提出了通过使用诸如陀螺仪传感器等的位置信息获取器并且将该信息反馈至针对共同区域的搜索来高精度地进行对准的方法。

根据位置信息获取器所获得的信息所计算出的图像的移动量不总是与从实际拍摄的图像所检测到的图像的移动量一致。例如，陀螺仪传感器根据温度而具有不同的偏移。即使在陀螺仪传感器保持静止的情况下，也输出偏移值，并且偏移值的改变可能引起误检测。对于全景摄像而言，理想情况是在照相机正在绕节点摆动时拍摄图像，但是实际上除了摆动之外还会向照相机施加位移移动，从而引起误差。在基于陀螺信息来计算移动量时，镜头的视角是一个参数。在将被配置为改变视角的滤波器(诸如广角镜(wide converter)等)安装至镜头、或者在水中摄像的情况下，由于无法获得精确的视角，因此可能无法基于陀螺信息来计算移动量。因而，由于各种因素，导致基于陀螺信息的对准可能包含误差。

发明内容

本发明提供能够生成高精度的全景图像的图像处理设备、摄像设备、图像处理方法以及非瞬态计算机可读存储介质。

根据本发明的一个方面，一种图像处理设备，用于通过对多个图像进行合成来生成全景图像，其特征在于，所述图像处理设备包括：第一获取部件，用于基于所述多个图像的共同区域来获取图像的第一移动量的信息；以及对准部件，用于基于所述第一移动量与根据用于拍摄所述多个图像的摄像设备的位置信息所获取的图像的第二移动量之间的差信息、以及所述第二移动量的信息，来对所述多个图像进行对准。

一种摄像设备，其包括用于通过对多个图像进行合成来生成全景图像的图像处理设备，其特征在于，所述图像处理设备包括：第一获取部件，用于基于所述多个图像的共同区域来获取图像的第一移动量的信息；以及对准部件，用于基于所述第一移动量与根据用于拍摄所述多个图像的所述摄像设备的位置信息所获取的图像的第二移动量之间的差信息、以及所述第二移动量的信息，来对所述多个图像进行对准。

一种图像处理方法，用于通过对多个图像进行合成来生成全景图像，其特征在于，所述图像处理方法包括以下步骤：基于所述多个图像的共同区域来获取图像的第一移动量的信息；以及基于所述第一移动量与根据用于拍摄所述多个图像的摄像设备的位置信息所获取的图像的第二移动量之间的差信息、以及所述第二移动量的信息，来对所述多个图像进行对准。

通过参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是根据本发明的第一实施例、第二实施例和第三实施例的摄像设备的框图。

图2A和2B是用于说明全景摄像和全景图像的生成的图。

图3是示出根据图像的移动量的计算结果的图。

图4是全景摄像的概念图。

图5是全景摄像中的示例被摄体的图。

图6是用于说明正常摄像动作的流程图。

图7是根据第一实施例、第二实施例和第三实施例的全景摄像(摄像方法) 中的数据流图。

图8是用于说明本发明的第一实施例、第二实施例和第三实施例的全景摄像(摄像方法)的流程图。

具体实施方式

图2A是示出全景摄像中的移动的图。在全景摄像中，在由用户U手动地 (或者由未图示的云台等自动地)移动摄像设备100的情况下，连续拍摄图像。

图2B是概念性地示出图像的合成。在全景摄像中，以使被摄体的一部分在所拍摄的图像中重叠的方式来拍摄多个图像。稍后将描述的移动量计算电路116c提取各图像中的共同区域的特征点，并且检测表示该特征点的移动距离的运动矢量。例如，从运动矢量获得仿射变换系数，并且使两个图像彼此重叠，以使得特征点彼此一致。由此，获取到扩展了除共同区域以外的部分的图像，并且通过多次重复该处理来生成比每次拍摄的图像更宽的全景图像。摄像设备、专用图像处理设备和安装了图像处理方法(程序)的计算机可以通过对多个图像进行合成来生成全景图像。

在对以不同的拍摄角度所拍摄的图像进行对准的情况下，可以进行用于将所拍摄图像投影至虚拟圆柱上的柱面转换(cylindrical conversion)，以减小接合处的图像位移。

通过提取图像中的特征点并且搜索(计算)该特征点在图像之间移动了多长距离来检测运动矢量。对于特征点的提取，可以应用已知的方法。例如，使用如下方法来提取边缘：用于仅提取进行了柱面转换的两个图像的亮度信息、使图像位移一个至数个像素、并且从原始图像减去位移后的图像以计算绝对值的方法；或者用于仅对从图像中提取出的亮度信息进行高通滤波、并且从原始亮度信息图像中减去该结果的方法等。可以通过减去多个位移的边缘图像并且计算使得差小的位置，来计算移动量。

由于需要提取多个特征点，因此将图像分割成多个块。块分割依赖于像素的数量和图像中的宽高比，但是通常设置(4×3＝)12到96×64个块。在块的数量太小的情况下，倾斜的摄像设备中的梯形、绕光轴方向的转动或其它校正不可用。在块的数量太大的情况下，一个块小并且接近特征点，从而引起误差。块的数量是根据像素的数量、特征点的易见度、以及被摄体的视角等来设置的。

对准方法可以采用使得能够进行转动和平行移动的欧几里得(Euclid)变换、同样使得能够进行转动和平行移动的仿射变换、或者使得能够进行梯形校正的投影变换等，但是不能采用无法进行平行移动的线性变换。

欧几里得变换适用于在X轴或Y轴上的移动或者绕各轴的转动。然而，照相机中的实际摄像包含在前后方向上以及平摇和俯仰方向上的手抖动。通常，使用可以校正放大和歪斜等的仿射变换。在将作为基准的特征点的坐标 (x,y)移动至坐标(x’,y’)的情况下，将仿射变换表示如下。

将该3×3矩阵称为仿射系数。在仿射变换中，如果检测到至少三个特征点的位移，则可以计算出仿射系数。在特征点彼此相近或者呈直线状排列的情况下，仿射变换在比特征点更远的位置处不精确。这些特征点可以是位于彼此远离的位置并且可以不是直线状排列。在检测到多个特征点的情况下，去除近的特征点，并且利用最小二乘法来对剩余的特征点进行标准化。

可以将如此对准的两个图像以不同的合成比例进行合成，以使得边界不突出。

特征点可能无法被提取或者可能被误检测，例如，在提取上述边缘时，示例有诸如云等的具有一些边缘的被摄体以及夜晚的暗部。误检测的示例是对诸如条纹图案和人造建筑(例如摩天楼)等的相似图案的重复图。在诸如水面和列车表面等的、形状和位置针对各次拍摄而发生改变的场景下，可能发生误检测。

这种情况可以使用位置检测器(姿势检测器)的信息，其中该位置检测器诸如为内置于摄像设备或者相对于摄像设备可安装并且可拆卸的镜头设备中的陀螺仪传感器等。例如，假设安装至摄像设备的摄像光学系统具有焦距 f(mm)，使摄像设备在前次摄像和本次摄像之间转动了r度(°)的角度，并且图像传感器具有像素间距p(μm)。然后，可以利用表达式2来对移动量d[像素] 进行近似。为了简述目的，其中忽略了透镜的畸变的影响，但是可以考虑畸变和其它误差。

d[像素]＝tan(r[°]÷180×π)×f[mm]×1000÷p[μm] (2)

图3是示出特定图像中的各块的移动量的计算示例的图。图中的横轴表示横摆方向上的移动量[像素]，并且纵轴表示俯仰方向上的移动量[像素]。如上所述，以作为对图像进行分割而获得的块为单位来检测移动距离。图3 示出所计算出的在横摆方向上移动了800[像素]的块、以及所计算出的在俯仰方向上移动了-40～-60[像素]而在横摆方向上未移动的块。在根据图像来计算移动量时，无法确定各块的移动量中哪一个是正确的。

如果基于表达式2和陀螺仪传感器的输出来计算移动量，并且如果发现横摆方向上的位移为800[像素]，则可以理解为错误地检测了俯仰方向上的位移，并且可以防止误检测。可以通过使用陀螺信息来缩窄特征点的移动量的搜索范围，并且可以加快处理。在没有陀螺信息的情况下，需要例如在横摆方向上搜索-1000[像素]～+1000[像素]的范围。如果通过陀螺信息而已知 +800[像素]的移动量，则搜索大约+600[像素]～+100[像素]的范围可能就足够了。该值依赖于透镜的焦距以及摆动速度，但是不限于此。

在无法提取特征点的情况下，基于表达式2和陀螺仪传感器的输出来计算移动量，并且原样地使用该移动量来进行对准。作为在陀螺仪传感器保持静止时所输出的信号的偏移会根据个体和温度而改变。通常，将在正常温度下陀螺仪传感器保持静止时的偏移量存储在摄像设备的非易失性存储器中，并且在使用时从输出信号中减去该偏移量。因而，使用了减去位移后的值。

在高温或低温下的偏移与在正常温度下的偏移有所不同，因而无法精确地估计出该偏移。全景摄像可以一次拍摄几十个图像，并且摄像设备的温度可能升高。在这种情况下，无法完全消除偏移，并且无法精确地计算出基于陀螺信息所获得的移动量。在使用变焦透镜的情况下，由于变焦环的间隙而导致无法精确地识别焦距。另外，在视角根据焦点位置而改变的光学系统中，从陀螺信息所获取到的移动量与能够从实际图像中所检测到的移动量可能有所不同。

光学系统包括用于改变焦距的滤波器和光学镜头。例如，在转换镜头或扩展器用于广角或远摄摄像而不是光学系统的原始视角的情况下，从陀螺信息所获取到的移动量与能够从实际图像中所检测到的移动量也可能有所不同。在如在水中摄像那样的外部的折射率与空气的折射率不同的情况下，焦距改变，因而发生同样的情况。

因此，由于陀螺仪传感器的偏移变化以及各种因素，因而根据陀螺信息所计算出的移动量与从图像所检测到的移动量可能有所不同。在这种情形下，如果由于无法根据图像计算出移动量，因而仅利用根据陀螺信息所计算出的移动量来将图像对准，则实际上第一个图像相对于第二个图像位移，并且将第一个图像与第二个图像合成，导致全景图像的质量劣化。

本实施例对根据陀螺信息所计算出的移动量(从摄像设备的位置信息所获取到的图像的第二移动量)进行校正。首先，用户设置全景摄像模式，并且开始摄像。拍摄第一个图像，并且图像传感器的输出被A/D转换并被图像处理电路读取。图像处理电路对图像进行显像并且将诸如YUV图像等的一般图像存储在存储器中。此时，可以对摄像光学系统的失真和周边光量的下降进行校正，并且可以进行上述柱面变换。这适用于第二次拍摄。如上所述基于两个图像来计算移动量，并且将该移动量转换成仿射系数。在摄像时读取陀螺信号，并且计算摄像设备在第一个图像和第二个图像之间的移动距离。该移动量是使用表达式2、摄像光学系统的视角和图像传感器中的间距宽度等来计算的。校正量是根据这两个移动量之间的差来计算的。

连续拍摄速度根据摄像设备的机械设计和图像处理电路的处理速度等而不同，而例如在帧频是每秒5帧的情况下，时间差在第一个图像和第二个图像之间为0.2秒。在间隔恒定的情况下，校正量可以仅使用根据图像而计算出的移动量和根据陀螺信息而计算出的移动量之间的差。例如，在根据图像而计算出的移动量是400[像素]并且根据陀螺信息等而计算出的移动量是 405[像素]的情况下，针对0.2秒，产生了5[像素]的误差。如果拍摄间隔不恒定，则需要根据拍摄时间间隔来调整校正量。

在拍摄第三个图像并且可以根据该图像来计算出移动量的情况下，使用该移动量来进行对准。在无法根据该图像计算出移动量的情况下，根据陀螺信息来计算移动量，并且利用添加了上述校正量的移动量来进行对准。重复上述过程。

在开始拍摄之后，可能始终无法基于第一个图像和第二个图像来计算出移动量。在这种情况下，在能够计算出被摄体之前，将诸如第一个拍摄图像、第二个拍摄图像、……、第m个拍摄图像等的拍摄图像暂时存储在存储器(存储单元)中。在能够计算出被摄体的情况下，通过上述方法来计算校正量，并且将该校正量追溯地应用于第一个拍摄图像、第二个拍摄图像、……、第 m个拍摄图像，以进行适当的对准和合成。此时，对准的图像可能不是连续拍摄的图像。换句话说，对准的图像可能不是第m个拍摄图像和第(m+1)个拍摄图像，并且可以根据第m个拍摄图像和第n个拍摄图像来计算校正量。在这种情况下，需要基于拍摄间隔时间段来调整校正量，其中m和n是正整数，并且n大于m(n>m)。

除非不进行校正，否则尽管精度较低，但也可以大致计算出根据陀螺信息而计算出的移动量。可以根据第m个拍摄图像和第n个拍摄图像来大致计算出未校正的移动量。在第m个拍摄图像和第(m+2)个拍摄图像具有许多共同部分的情况下，不需要存储第(m+1)个拍摄图像，以节省存储器的容量。不总是需要存储图像的整个面，并且可以通过存储在最大搜索区域内修剪的图像来节省容量。换句话说，控制器可以判断在生成全景图像时是否存在冗余，并且可以不将冗余的图像(部分)存储在存储器中。

代替在开始全景摄像之后计算校正量，可以在开始全景摄像之前计算校正量。在实际的全景摄像中，摄像开始的场景不总是主被摄体。因此，由于未聚焦的被摄体或低对比度的被摄体等，因而根据开始摄像时的图像，无法计算出移动量。

可以在摄像准备时或者聚焦于主被摄体之后计算校正量。通常，无论聚焦是手动聚焦还是自动聚焦，要聚焦的被摄体都需要有一定程度的对比度。因此，可以在使被摄体聚焦的情况下计算校正量。

可以在开始摄像之后仅计算校正量一次，但是在诸如在摄像期间温度升高时等的需要调整校正量的情况下，可以多次计算校正量。在陀螺仪附近温度改变的情况下、在摆动速度或角速度改变的情况下、在摄像光学系统的焦距或焦点位置改变的情况下、或者在照相机相对于光轴在滚转方向上移动了的情况下等，可以多次计算校正量。当然，不对条件进行限制。

在陀螺仪附近温度改变的情况下，由于针对陀螺仪的偏移信号改变，因此可以更新校正量。

在手动摆动中，如图4所示在摄像设备位于用户的正面的情况下，摆动方式可能从摆动成分改变成位移成分，尽管该改变依赖于用户的习惯。即使在用户认为其在以恒定速度摆动的情况下，角速度也减小。由于将位移成分所引起的视差添加至根据图像而计算出的移动量和根据陀螺仪而计算出的移动量之间的误差因数，因此需要更新校正量。

这是由于视差量改变而引起到被摄体的距离改变的情况。在到被摄体的距离近似无穷远的情况下，被摄体光变得几乎平行，并且即使在施加了位移成分的情况下，也不会产生视差。然而，对于近距离的被摄体，由于位移成分而产生视差。因而，由于根据图像而计算出的移动量和根据陀螺仪而计算出的移动量之间存在差，因而需要更新校正量。

从以上描述，可以理解，在摄像光学系统的焦距改变的情况下需要更新校正量。在摄像光学系统包括随着焦点位置改变而改变视角的镜头的情况下，需要进行类似的更新。

在多次计算校正量的情况下，何时使用校正量成为问题。尽管可以使用最近的校正量，但是可以使用实际校正条件接近获取校正量的条件的校正量。

例如，在用户使摄像设备摆动的情况下，角速度初始时低并且逐渐加速。角速度达到某一恒定速度，然后在摄像接近结束时减速。如上所述，在摄像设备位于用户的正面的情况下，位移成分增大，并且角速度可能暂时减小。在摄像接近结束时，角速度在摄像结束之后用户继续摆动摄像设备的情况下不减速。

在例如摄像接近结束时或者在摄像设备位于用户的正面时等角速度减速的情况下，可以使用以与摄像开始加速时相同的速度所获取到的校正量，而不是使用所获取到的最近的校正量。

如在图5所示的、一次摄像动作期间到被摄体的距离改变的场景中，被摄体在摄像初始时近、在用户的正面时远、并且在摄像结束时近。即使在这种情况下，也在校正时刻针对被摄体距离来使用利用同样的被摄体距离所获取到的校正量。

尽管以角速度和到被摄体的距离来描述了校正量的应用，但是本领域技术人员可以适当将校正量应用于其它情况。通过基于图像如此计算出的移动量来对根据该图像而计算出的移动量进行校正，可以提高全景合成的精度。

第一实施例

图1是根据第一实施例的内置有图像处理设备(图像处理器)的数字照相机的框图。

在图1中，附图标记101表示用于形成被摄体的光学图像的摄像光学系统。附图标记102表示AF(自动聚焦)驱动电路。AF驱动电路102例如包括DC 马达或步进马达，并且通过在微计算机123的控制下改变摄像光学系统101中的调焦透镜的位置来提供调焦。

附图标记103表示用于调整光量的光圈(开口光阑)。附图标记104表示用于驱动光圈103的光圈驱动电路。通过微计算机123来计算要驱动的量，并且该要驱动的量使F值(光学开口值)改变。

附图标记105表示用于使从摄像光学系统101入射的光在取景器侧和图像传感器侧之间切换的主镜。通常，配置主镜105，以将光束引导并反射至取景器侧。然而，在拍摄图像或者通过实时取景显示来顺次显示图像的情况下，向上移动主镜105并使主镜105从光束退避，以将光束引导至图像传感器 112。主镜105是如下这样的半透半反镜，其中，其中心可以使部分光束透过，然后该光束进入焦点检测用的传感器。

附图标记106表示用于将从主镜105透过的光束引导并反射至未示出的焦点检测用的传感器以及在曝光量计算电路109中的传感器的副镜。附图标记107表示用于在微计算机123的控制下对主镜105进行驱动的镜驱动电路。附图标记108表示在取景器光学系统中所包括的五棱镜。取景器光学系统还包括聚焦板和未示出的目镜等。附图标记109表示曝光量计算电路。从主镜 105的中心透过并且被副镜106反射的光束到达配置在曝光量计算电路109中的光电转换传感器。通过计算该传感器的输出来得到用于计算聚焦状态的散焦量。

微计算机123评价计算结果，并且指示AF驱动电路102来驱动调焦透镜。附图标记110表示焦平面快门。附图标记111表示用于驱动焦平面快门110的快门驱动电路。通过微计算机123来控制焦平面快门110的打开时间。

附图标记112表示用于将摄像光学系统101所形成的被摄体图像转换成电信号的诸如CCD和CMOS传感器等的图像传感器。附图标记115表示用于将来自图像传感器112的模拟的输出信号转换成数字信号的A/D转换器。

附图标记116表示包括诸如门阵列等的逻辑装置的视频信号处理电路 (图像处理器)。视频信号处理电路116可以包括专用图像处理设备或安装有图像处理方法的个人计算机(PC)。

视频信号处理电路116包括亮度调整电路116a、伽马校正电路116b、移动量计算电路116c、对准电路116d、几何变换电路116e、变倍电路116f、修剪电路116g、合成电路116j、显像电路116k、以及压缩/解压缩电路116l。

亮度调整电路116a使用数字增益来调整亮度。伽马校正电路116b使用伽马特性来调整亮度。移动量计算电路(第一获取器)116c基于多个图像中的共同区域来获取(计算)图像中的第一移动量的信息。

对准电路(对准器)116d根据移动量来对多个图像进行对准。对准器116d 基于第一移动量和基于拍摄了多个图像的摄像设备的位置信息所获取到的第二移动量之间的差信息、以及第二移动量的信息，来对多个图像进行对准。在第一移动量的信息可用的情况下，对准电路116d基于第一移动量的信息来对多个图像进行对准，并且在第一移动量的信息不可用的情况下，对准电路 116d基于该差信息和第二移动量的信息来对多个图像进行对准。

几何变换电路116e提供柱面变换，校正摄像光学系统101的失真，并且进行仿射变换。修剪电路116g切出图像的一部分。变倍电路116f改变图像尺寸的倍率。合成电路116j将多个图像彼此合成。显像电路116k对图像进行显像。压缩/解压缩电路116l将图像的格式转换成诸如JPEG等的通常的图像格式。

附图标记117表示显示驱动电路。附图标记118表示使用例如TFT和有机 EL的显示单元。附图标记119表示存储器控制器。附图标记120表示存储器。附图标记21表示可连接至计算机等的外部接口。附图标记122表示缓冲存储器。

微计算机123基于诸如姿势、速度、角速度和加速度等的摄像设备的位置信息，来获取第二移动量的信息。微计算机123还用作用于获取差信息的第二获取器。

视频信号处理电路116对数字化后的图像数据进行滤波处理、颜色变换处理和伽马处理以及诸如JPEG等的压缩处理，并且将结果输出存储器控制器 119。在这种情况下，可以将正在处理的图像暂时存储在缓冲存储器122中。视频信号处理电路116可以经由显示驱动电路117将来自图像传感器112的视频信号和从存储器控制器119逆输入的图像数据输出至显示单元118。在微计算机123的控制下切换功能。

视频信号处理电路116可以根据需要将诸如来自图像传感器112的信号的曝光信息和白平衡等的信息输出至微计算机123。微计算机123基于上述信息来指示白平衡和增益调整。

在连续拍摄中，将所拍摄数据作为未处理图像一次存储在缓冲存储器 122中，经由存储器控制器119来读取未处理的图像数据，并且视频信号处理电路116提供图像处理和压缩处理。连续拍摄的图像的数量依赖于缓冲存储器122的容量以及在全景摄像的情况下的图像尺寸。

存储器控制器119将从视频信号处理电路116输入的未处理的数字图像数据存储在缓冲存储器122中，并且将处理后的数字图像数据存储在存储器 120中。将图像数据从缓冲存储器122和存储器120输出至视频信号处理电路 116。存储器120相对于摄像设备可安装并且可拆卸。存储器控制器119可以经由可连接至计算机等的外部接口121来输出存储器120中所存储的图像。附图标记123表示微计算机。

附图标记124表示操作单元。操作单元124将其状态发送至微计算机123，并且微计算机123根据操作单元124的变化来对各组件进行控制。

附图标记125表示开关1(以下称为“SW1”)。附图标记126表示开关2(以下称为“SW2”)。开关SW1 125和开关SW2 126是通过对释放开关的操作来进行接通和断开的开关，并且各开关是操作单元124的输入开关之一。在释放按钮的半按下状态下，开关SW1 125接通，以提供自动聚焦和测光。在释放按钮的完全按下状态下，开关SW1 125和开关SW2 126这两者接通，以记录图像。在该状态下拍摄图像。在开关SW1 125和开关SW2 126接通的情况下，能够进行连续摄像。

操作单元124还包括ISO设置按钮、菜单按钮、设置按钮、闪光设置按钮、单拍/连拍/自拍切换按钮、以及用以改变菜单和再现图像的移动+按钮。操作单元124还包括移动-按钮、曝光校正按钮、显示图像放大按钮、显示图像缩小按钮、再现按钮、用于设置光圈103以设置F值的光圈按钮、以及用于清除所拍摄图像的清除按钮。操作单元124还包括被配置为检测开关的状态的、与摄像和再现等相关的信息显示按钮。具有加减按钮功能的转动拨盘开关可以平滑地选择数值和功能。操作单元124用作用于命令AF的命令器。

附图标记127表示液晶驱动电路。附图标记128表示外部液晶显示单元。附图标记129表示内部取景器用的液晶显示单元。液晶驱动电路127根据来自微计算机123的显示内容命令，对用于使用文字和图像显示操作状态和消息等的外部液晶显示单元128和内部取景器用的液晶显示单元129进行驱动。内部取景器用的液晶显示单元129包括诸如未示出的LED等的背光单元，并且同样通过液晶驱动电路127来驱动LED。在经由存储器控制器119来确认存储器容量的情况下，微计算机123可以基于在摄像前所设置的ISO感光度、图像尺寸、以及根据图像质量的图像尺寸的预测值数据来计算剩余拍摄的数量。根据需要，可以在外部液晶显示单元128和内部取景器用的液晶显示单元129 上显示该信息。

附图标记130表示用于即使在没有接通照相机的电源的情况下也存储数据的非易失性存储器EEPROM。附图标志131表示电源单元。电源单元131 将所需电力供给至各IC和驱动系统。附图标记132表示内部时钟。可以将拍摄时间等附加至存储器120中所记录的图像文件，并且可以如上所述将拍摄时间叠加至图像。

附图标记133表示用于检测摄像设备的摆动的角速度的两轴或三轴陀螺仪或陀螺仪传感器(位置检测器)。附图标记134表示温度计，其中为了本实施例的目的而将该温度计配置在陀螺仪133附近，但是通常可以应用配置在图像传感器112或存储器120附近以保护摄像设备和存储器120的温度检测器。

图6是用于说明微计算机123所执行的正常摄像动作的流程图，并且“S”代表步骤。图6所示的流程图可以作为用于使得计算机能够执行各步骤的功能的程序来实现。该程序可以存储在摄像设备100中的诸如非易失性存储器 130和非瞬态计算机可读存储介质等的存储单元中。

曝光量计算电路109预先计算曝光量，并且确定F值、存储时间段以及ISO 感光度。在用户按下SW2 126的情况下，在步骤S701中开始摄像。微计算机 123向光圈驱动电路104通知预先确定的F值，并且将光圈103设置成目标F值。接通图像传感器112和A/D转换器115等的电源，并且准备摄像。在准备完成的情况下，镜驱动电路107被驱动并且可以在图像传感器112上形成被摄体图像。快门驱动电路111打开未示出的前帘，以使得可以在图像传感器112上形成被摄体图像。接着，在经过了预定的存储时间段之后，关闭快门110中的未示出的后帘，以在存储时间段期间将光引导至图像传感器112。经由该系列动作来进行曝光(S702)。

接着，A/D转换器115读取图像信号并将图像信号发送至视频信号处理电路116，并且将该图像信号存储在缓冲存储器122中(S703)。显像电路116k通过将所读取的图像信号转换成图像数据来提供显像(S704)。此时，可以针对适当的图像提供诸如白平衡以及通过伽马校正电路116b在暗部中的增益控制等的附加图像处理。

所获得的图像被压缩/解压缩单元116l转换成诸如JPEG等的通用数据格式(S705)，并且被存储在诸如SD卡和compact

存储器等的存储器120中 (S706)。然后，处理结束。代替提供图像处理和显像处理(S704)，所读取的图像信号可以被可逆压缩(S705)，并且被存储在存储介质中(S706)。用户可以经由操作单元124来切换处理。

在用户利用操作单元124设置了全景摄像模式的情况下，将电力供给至图像传感器112和A/D转换器115，并且开始初始化。主镜105向上移动并且快门驱动电路111打开快门，以使得可以经由摄像光学系统101在图像传感器 112上形成被摄体图像。

来自图像传感器112的信号被A/D转换器115转换成数字信号、被视频信号处理电路116中的显像电路116k显像，并且被亮度调整电路116a和伽马校正电路116b转换成适当的图像。接着。变倍电路116f变倍为适用于诸如液晶监视器等的显示单元118的图像尺寸。通过每秒重复上述处理24～60次来进行所谓的实时取景。

用户确认显示，并且调整视角。在全景摄像中，在摄像设备瞄准宽范围内的各个被摄体中的主被摄体之后，按下SW1 125。在按下SW1 125的情况下，计算曝光量。在非实时取景模式下，曝光量计算单元109接收被副镜106 所反射的光，并且计算适当的曝光量。在实时取景中，视频信号处理电路116 中的未示出的曝光量计算电路确定适当的曝光量。微计算机123指示光圈驱动电路104来驱动光圈103，并且控制图像传感器112的感光度和存储时间段。 AF驱动电路102驱动摄像光学系统101，以进行调焦。在摄像准备结束时，未示出的蜂鸣器向用户通知准备就绪状态。

接着，在用户将摄像设备转向期望的方向并且按下SW2 126的情况下，进行实际的全景摄像。图7是全景摄像中的数据流图。图8是微计算机123所执行的全景摄像的流程图。

在开始全景摄像时，微计算机123首先获得摄像光学系统101的信息(镜头信息)(S801)。该镜头信息包含后述的用于校正失真和镜头周边的光量的下降的数据、用于根据后述的陀螺信号来计算对准量的焦距、以及到被摄体的距离信息等。

接着，微计算机123从陀螺仪133获取陀螺信息(S802)。该陀螺信息包含针对摄像设备100的横摆方向和俯仰方向的两个轴的信息，但是还可以包含包括针对光轴的转动的滚转方向的三个轴的信息。在来自陀螺仪133的输出是角速度的情况下，全景摄像需要来自前次拍摄的摆动角度。在第一次图像拍摄中，将该值记录在存储器120中。对角速度进行积分直至下次拍摄为止，并且在第二次及后续的图像拍摄中根据前次拍摄来计算摆动角度。

接着，微计算机123拍摄图像(S803)。由于图像传感器112和A/D转换器 115被设置成实时取景模式，因此微计算机123将该模式切换成静止摄像模式。微计算机123将光圈123调节至设置曝光量，打开和关闭快门110，并且在图像传感器112上形成被摄体图像。

微计算机123经由A/D转换器115将在图像传感器112上所形成的被摄体图像转换成数字信号，并且将该数字信号存储在缓冲存储器122中。视频信号处理电路116中未示出的电路针对该图像数据进行诸如图像传感器112的阴影等的校正。将最小处理图像数据称为RAW图像705。接着，微计算机123 经由显像电路116k将RAW图像705显像，以形成YUV图像706。

微计算机123根据液晶监视器的像素数量、经由变倍电路116f来缩小图像，以将所拍摄的图像显示在显示单元118中的液晶监视器上，并且将所得到的图像存储在VRAM 708中。微计算机123经由几何变换电路116e对所显像的图像706进行柱面转换。此时，微计算机123可以校正摄像光学系统101的失真。

微计算机123根据所拍摄的图像的编号来改变处理(S804)。

针对全景摄像开始之后的第一个拍摄图像，处理返回至S801(S804)，但是可以为了简化目而返回至S802。通常，在全景摄像中，维持摄像光学系统 101静止，但是摄像光学系统101可能由于用户的手动操作或者摄像光学系统 101的自身重量而移动。因而，微计算机123可以再次获取镜头信息。

针对全景摄像开始之后的第二个拍摄图像，处理进入步骤S805。对于第二个拍摄图像，微计算机123根据第一个拍摄图像来计算摆动角度。微计算机123使用该角度、在S802中所获取到的镜头信息的焦距、图像传感器112的一个像素尺寸以及表达式2来计算移动量(S805)。对于横摆方向和俯仰方向上的两轴陀螺仪133，移动量在X轴水平方向和Y轴垂直方向上位移。对于包含滚转方向的三轴陀螺仪，可以计算摆动成分的移动量。将参考后述的S807 和S808来描述用于根据移动量来计算仿射系数的方法。

接着，移动量计算电路116c从第二个拍摄图像707和第一个拍摄图像703 上计算移动量(S806)。可以使用已知方法来检测移动量，而微计算机123经由移动量检测电路116c来搜索图像中的多个特征点，并且经由采样来计算仿射系数709。如上所述，可以提取出特征点。

因而，微计算机123检测边缘，提取特征点，并且计算移动量。假设特征点1从坐标(x1,y1)移动至坐标(u1,v1)，特征点2从坐标(x2,y2)移动至坐标 (u2,v2)，特征点3从坐标(x3,y3)移动至坐标(u3,v3)。根据表达式1来建立以下表达式。

可以通过对这些等式求解来计算仿射系数。在检测到三个或更多特征点的情况下，排除近的点并且通过最小二乘法来进行标准化。在未发现三个特征点的情况下，或者在所提取出的三个点呈直线状排列的情况下，或者三个点中的两个点彼此相近的情况下，将移动量的计算确定为失败。此时，在移动量的计算失败的情况下，可以应用第三实施例。

微计算机123计算根据图像所计算出的移动量和在S805中根据陀螺仪 133的信息所计算出的移动量之间的差，并且得到校正量(S807)。基于来自横摆方向和俯仰方向上的两轴陀螺仪133的信号、利用表达式2所计算出的移动量仅是平行移动，或者仅是在表达式1的仿射系数中的与平行移动有关的c和 f。因此，微计算机123将这两个移动量、即根据图像所计算出的移动量和根据来自陀螺仪133的信息的移动量转换成仿射系数，从各自减去该仿射系数，并且将系数设置为a＝1，b＝0，d＝0，以及e＝1，以留下移动成分。在以三轴陀螺仪来施加摆动成分的情况下，微计算机123同样使用仿射系数a、b、d和e。本领域技术人员可以通过矩阵计算来处理该情况。

如上所述，在根据图像的移动量和根据陀螺仪133的移动量之间可能产生差。根据陀螺仪133的移动量包含由温度等引起的误差。根据图像的移动量包含摄像光学系统的焦距的误差、由于摄像设备100的摆动中心相对于节点的位移所引起的视差、以及由于通过使用转换镜头或水中摄像所引起的视角的位移而引起的误差。由于图像彼此对准并且彼此合成，因此使用根据图像信息而获得的移动量是有效的。然而，在无法根据图像来计算出移动量的情况下，利用根据陀螺信息的移动量来进行对准，并且由此计算出校正量。

接着，微计算机123基于根据S806(S808)中所计算出的图像的移动量(仿射系数)、经由对准电路116d来对图像进行对准，并且生成对准的图像711。

接着，微计算机123利用经由合成电路116j将第一个拍摄图像710与对准的第二个拍摄图像711进行合成的合成结果来生成合成图像712(S809)。此时，诸如水面等的任何移动物体使合成处理劣化，从而可以通过改变图像的边界处的合成比例，来提高图像质量。在SW2 126被按下的情况下，处理返回至S801(S810)，但是可以为了简要目的而返回至S802。

针对全景摄像开始后的第三个或后续的拍摄图像，处理进入S812。与 S805类似地，微计算机123根据前次的拍摄图像(诸如第二个几何变换结果 703等)和本次的拍摄图像(诸如第三个几何变换结果707等)来计算移动量 (S812)。为了节省存储器容量，可以基于到目前为止的合成结果710和本次的几何变换结果707来计算移动量。用于计算移动量的方法如S805所述。

接着，微计算机123判断是否可以根据图像来计算移动量(S813)。

微计算机123在判断为可以根据图像来计算移动量的情况下，判断是否需要校正量的附加计算(S814)。在第一实施例中，微计算机123判断为不需要校正量的附加计算，使用所计算出的移动量(仿射系数)来对图像进行对准 (S815)，并且针对对准的图像进行合成(S809)。

另一方面，微计算机123在步骤S813中判断为无法根据图像来计算出移动量的情况下，基于来自陀螺仪133的信息来计算仿射系数(S816)。此时，添加S807中所计算出的校正量。例如，在陀螺仪133是横摆方向和俯仰方向上的两轴陀螺仪的情况下，可以在表达式1的仿射系数中添加c和f项。对于滚转方向上的校正，需要a、b、d和e项。微计算机123基于由此计算出的移动量(仿射系数)来对图像进行对准(S817)，并且对这些图像进行合成(S809)。

在用户释放开关SW2 126或者合成结果712大于预定尺寸的情况下，重复一系列处理直到用户的操作结束为止。在命令了结束的情况下，微计算机123 经由压缩/解压缩电路116l、采用诸如JPEG等的通用格式对图像进行压缩 (S818)，并且将结果存储在存储器120中(S819)。在进行压缩之前，可以进行用于使合成图像的暗部清楚的伽马校正以及用于使图像整体的色调均匀的校正。由于由此获得的图像大，因此可以经由变倍电路116f来改变倍率，以将图像尺寸改变成用户预定的尺寸。

根据第一实施例，微计算机123基于根据陀螺信息的移动量和在S806中的根据摄像开始之后的图像所计算出的移动量之间的差，来计算针对将来使用的根据陀螺信息的移动量的校正量。在未根据图像来计算移动量的情况下，当微计算机123使用根据陀螺信息的移动量来对图像进行对准时(S808)，微计算机123利用S806(S816)中所计算出的校正量来对根据陀螺仪的移动量进行校正，并且对图像进行对准(S817)。由此，可以生成高精确度的全景图像。

在本示例中，仅在开始时计算校正量一次，但是由于移动量不能始终在最初时计算出，因此可以在紧接着AF操作结束之后在实时取景状态下计算校正量。由于针对主被摄体进行AF，因此包括许多边缘，并且容易基于图像来计算对准量。

在实时取景显示中，每秒重复进行摄像、显像和显示24～60次。由于一次的处理时间段短，因此通常没有时间来调用来自图像传感器112的全部像素信息，从而在一定程度上间隔剔除并读出某些像素。例如，在仅从三个像素中读出一个像素的情况下，移动量是静止摄像时的三倍大，从而需要根据读出时的间隔剔除比率来调整所计算出的移动量。

由于在AF中未使摄像设备移动，因此根据图像所计算出的移动量接近 0。尽管该方法适用于对陀螺仪133的偏移的校正，但是在转换镜头安装于摄像光学系统101的情况下，该方法不适用于对焦距的误差和水中摄像的校正。因而，该方法可以辅助用于上述示例的合成，其中在上述示例中，利用全景摄像开始之后拍摄的第一个个图像和第二个图像来进行校正。

第二实施例

第一实施例首先计算在全景摄像开始之后的校正量或者在全景摄像开始之前的实时取景中的校正量。在连续拍摄速度恒定的情况下，该方法起作用，但是在连续拍摄速度不恒定的情况下或者在拍摄之间的时间间隔不恒定的情况下，需要考虑时间因素。例如，在要校正陀螺仪133的温度特性所引起的偏移变化的情况下，该偏移具有与帧之间的时间段成比例的误差。因而，在计算校正量时的帧之间的时间段是全景摄像时的x倍的情况下，需要使校正量的仿射系数c和f项乘以n倍来进行校正。

在校正因素是由转换镜头所引起的情况下，帧之间的时间间隔不受影响。不需要使用摄像时间间隔来调整校正量。在校正因素是由摄像设备的摆动状态所引起的情况下，可以使用最近的校正量。如图4所示，在摆动半径不恒定的情况下，角速度发生变化。因此，可以多次计算校正量，并且可以使用针对同样的角速度的校正量。在摆动中心不是节点的情况下，产生视差。由于当到被摄体的距离不同时视差量不同，因此可以利用到被摄体的相同距离所计算出的校正量。

根据第二实施例，多次计算校正量。第二实施例中的微计算机123与图8 中的相同。将说明在第一实施例中省略的S814。在第一实施例中，处理始终进入S815，但是第二实施例中的微计算机123判断是否需要校正量的附加计算(S814)。

如上所述，在到被摄体的距离发生变化的情况下、在摆动速度发生变化的情况下、或者在陀螺仪133的温度发生变化的情况下，微计算机123判断为需要校正量的附加计算，并且进入S805。在可以提取出很多特征点并且根据图像来计算移动量时多个特征点的移动量偏差较小的情况下，一般而言可靠性较高，并且可以更新校正量。

换句话说，微计算机123采用表格形式、通过将步骤S807中所计算出的校正量与诸如到主被摄体的距离、调焦透镜的位置和焦距等的光学特性、角速度、温度以及移动量的可靠性相关联，来对该校正量进行存储。该存储形式不限于本实施例。可选地，微计算机123可以始终计算新的校正量，或者在需要进行校正的情况下使用最近的校正量。在这种情况下，微计算机123 可以始终在S814中判断为“是”，并且进入S805。

微计算机123在正在记录多个校正量时选择适当的校正量(S816)。例如，在基于陀螺仪133的角速度的改变来计算校正量时，微计算机123在S816中选择在角速度接近S802中所获取到的角速度的情况下所计算出的校正量。到被摄体的距离和温度等是类似的。在如果可以从图像中检测到移动量，则始终计算校正量的情况下，可以针对S816使用最近计算出的校正量。

在多次适当获取到校正量并且实际上校正根据陀螺仪信息的校正量时，第二实施例通过从多个校正量中选择适当的校正量并且使用该校正量来进行校正，可以提高校正精度，并且生成高精度的全景图像。

第三实施例

第一实施例使用全景摄像开始之后的第一个拍摄图像和第二个拍摄图像来计算校正量(S807)。在无法从图像检测出对准的情况下，可以向用户通知错误(全景摄像故障)，但是这对用户而言不总是最佳的。根据第三实施例，微计算机123将所拍摄图像存储在缓冲存储器122中直到可以计算出初始的校正量为止，并且在计算出校正量之后合成图像。

在全景摄像中，合成结果是大图像，并且需要大容量的缓冲存储器122。在开始全景摄像时，合成图像712的区域较少被使用。因此，通过暂时使用存储器中的下位地址，在不针对该存储器进行冗余准备的情况下，缓冲是可用的。

在几何变换之后对图像703的整个面进行缓冲是不必要的。可以基于未校正的对准量和陀螺信号来大致计算出工作区域。在对陀螺仪133的偏移成分的误差进行校正的情况下，即使在未校正根据陀螺信息的输出的情况下，也不太可能产生根据来自陀螺仪133的信号所计算出的移动量与根据图像所计算出的移动量之间的10％的位移。因此，微计算机123基于根据陀螺仪133 的移动量来计算图像703的必要区域，并且使用修剪电路116g对通过将 5％～20％的额外区域添加至上述必要区域所得到的区域进行修剪，来进行缓冲。如这里所使用的值依赖于陀螺仪133的精度，并且不限于此。对于例如在摄像光学系统101用于改变焦距的情况下或者在水中摄像的情况下的宽范围校正而言，需要宽的缓冲区域。

通常，摄像设备100在开始全景摄像之前停止，并且在开始全景摄像之后立即进行摆动。在全景摄像开始之后的预定时间段内，摆动速度慢，并且图像之间的共同区域宽。因而，没有必要对所有的所拍摄图像进行缓冲，并且可以间隔剔除并缓冲所拍摄的图像。间隔剔除依赖于间隔剔除后的图像的剩余共同区域，并且根据摄像光学系统101的视角和角速度而改变。通常，图像的对准需要几乎一半的原始图像。在这种情况下，知道无法根据图像来计算出对准量，从而合成所需要的共同区域是充分的，并且检测所需要的区域是不必要的。例如，摄像设备100从左向右摆动或者从右向左摆动，可以针对相对于原始图像的中心的水平方向对大约20％～40％的纵长的图像进行缓冲。可以在垂直方向上对整个区域进行缓冲。如上所述，该尺寸根据摄像光学系统101和摆动速度等而改变，并且不限于此。

例如，在使用具有60°的水平视角的摄像光学系统来生成360°的全景图像时，合成图像712需要变成原始图像的六倍大。假定进行缓冲所需的区域是20％。然后，需要针对18个图像进行缓冲。在通常使用中，可想而知，在正在拍摄18个图像的情况下，可以基于图像来计算移动量，但是在无法计算出移动量时，通知错误，或者在不对来自陀螺仪133的输出的进行校正的情况下进行合成。

即使在开始全景摄像之后无法计算出校正量的情况下，第三实施例也根据需要对所拍摄图像进行缓冲，并且可以生成高精度的全景图像。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (17)

1.一种图像处理设备，用于通过对多个图像进行合成来生成全景图像，其特征在于，所述图像处理设备包括：

第一获取部件，用于基于所述多个图像的共同区域来获取图像的第一移动量的信息；以及

对准部件，用于基于所述第一移动量与根据用于拍摄所述多个图像的摄像设备的位置信息所获取的图像的第二移动量之间的差信息、以及所述第二移动量的信息，来对所述多个图像进行对准，

其中，在所述第一获取部件能够获取到所述第一移动量的信息的情况下，所述对准部件基于所述第一移动量的信息来对所述多个图像进行对准，以及

在所述第一获取部件不能获取到所述第一移动量的信息的情况下，所述对准部件基于所述差信息和所述第二移动量的信息来对所述多个图像进行对准。

2.根据权利要求1所述的图像处理设备，其特征在于，所述第一获取部件通过搜索图像的特征点在两个图像之间移动了多长距离来获取所述第一移动量的信息，并且搜索的范围是基于所述摄像设备的位置信息来确定的。

3.一种图像处理设备，用于通过对多个图像进行合成来生成全景图像，其特征在于，所述图像处理设备包括：

第一获取部件，用于基于所述多个图像的共同区域来获取图像的第一移动量的信息；以及

对准部件，用于基于所述第一移动量与根据用于拍摄所述多个图像的摄像设备的位置信息所获取的图像的第二移动量之间的差信息、以及所述第二移动量的信息，来对所述多个图像进行对准，

其中，所述第一获取部件通过搜索图像的特征点在两个图像之间移动了多长距离来获取所述第一移动量的信息，并且搜索的范围是基于所述摄像设备的位置信息来确定的。

4.一种摄像设备，其包括根据权利要求1至3中任一项所述的图像处理设备。

5.根据权利要求4所述的摄像设备，其特征在于，还包括用于获取所述差信息的第二获取部件。

6.根据权利要求5所述的摄像设备，其特征在于，所述摄像设备被配置为提供顺次显示所述多个图像的实时取景，

其中，所述第二获取部件在实时取景时获取所述差信息。

7.根据权利要求5所述的摄像设备，其特征在于，在生成所述全景图像时，所述第二获取部件多次获取所述差信息，并且选择多个差信息中的供所述对准部件使用的差信息。

8.根据权利要求7所述的摄像设备，其特征在于，所述第二获取部件通过将表示所述摄像设备在获取多个差信息中的各个差信息时的状态的信息与各个差信息相关，来存储表示所述摄像设备的该状态的信息，并且基于表示所述摄像设备的该状态的信息来选择供所述对准部件使用的差信息。

9.根据权利要求8所述的摄像设备，其特征在于，所述第二获取部件基于所述摄像设备的速度的信息来选择所述差信息。

10.根据权利要求8所述的摄像设备，其特征在于，所述第二获取部件基于所述摄像设备的光学特性的信息来选择所述差信息。

11.根据权利要求10所述的摄像设备，其特征在于，所述光学特性是到被摄体的距离、用于形成所述被摄体的光学图像的摄像光学系统中的调焦透镜的位置、以及所述摄像光学系统的焦距其中至少之一。

12.根据权利要求5至11中任一项所述的摄像设备，其特征在于，还包括存储单元，所述存储单元用于存储所述第二获取部件未获取到所述差信息的图像，

其中，在所述第二获取部件获取到所述差信息之后，所述第二获取部件获取所述存储单元中所存储的图像的差信息。

13.根据权利要求12所述的摄像设备，其特征在于，还包括控制部件，所述控制部件用于判断在生成所述全景图像时是否存在冗余，并且所述控制部件不将被判断为冗余的图像存储在所述存储单元中。

14.一种图像处理方法，用于通过对多个图像进行合成来生成全景图像，其特征在于，所述图像处理方法包括：

第一获取步骤，用于基于所述多个图像的共同区域来获取图像的第一移动量的信息；以及

对准步骤，用于基于所述第一移动量与根据用于拍摄所述多个图像的摄像设备的位置信息所获取的图像的第二移动量之间的差信息、以及所述第二移动量的信息，来对所述多个图像进行对准，

其中，在所述第一获取步骤能够获取到所述第一移动量的信息的情况下，所述对准步骤基于所述第一移动量的信息来对所述多个图像进行对准，以及

在所述第一获取步骤不能获取到所述第一移动量的信息的情况下，所述对准步骤基于所述差信息和所述第二移动量的信息来对所述多个图像进行对准。

15.一种图像处理方法，用于通过对多个图像进行合成来生成全景图像，其特征在于，所述图像处理方法包括：

第一获取步骤，用于基于所述多个图像的共同区域来获取图像的第一移动量的信息；以及

对准步骤，用于基于所述第一移动量与根据用于拍摄所述多个图像的摄像设备的位置信息所获取的图像的第二移动量之间的差信息、以及所述第二移动量的信息，来对所述多个图像进行对准，

其中，所述第一获取步骤通过搜索图像的特征点在两个图像之间移动了多长距离来获取所述第一移动量的信息，并且搜索的范围是基于所述摄像设备的位置信息来确定的。

16.一种非暂时性计算机可读存储介质，用于存储使计算机能够执行图像处理方法的程序，所述图像处理方法用于通过对多个图像进行合成来生成全景图像，所述图像处理方法包括：

第一获取步骤，用于基于所述多个图像的共同区域来获取图像的第一移动量的信息；以及

对准步骤，用于基于所述第一移动量与根据用于拍摄所述多个图像的摄像设备的位置信息所获取的图像的第二移动量之间的差信息、以及所述第二移动量的信息，来对所述多个图像进行对准，

其中，在所述第一获取步骤能够获取到所述第一移动量的信息的情况下，所述对准步骤基于所述第一移动量的信息来对所述多个图像进行对准，以及

在所述第一获取步骤不能获取到所述第一移动量的信息的情况下，所述对准步骤基于所述差信息和所述第二移动量的信息来对所述多个图像进行对准。

17.一种非暂时性计算机可读存储介质，用于存储使计算机能够执行图像处理方法的程序，所述图像处理方法用于通过对多个图像进行合成来生成全景图像，所述图像处理方法包括：

第一获取步骤，用于基于所述多个图像的共同区域来获取图像的第一移动量的信息；以及

对准步骤，用于基于所述第一移动量与根据用于拍摄所述多个图像的摄像设备的位置信息所获取的图像的第二移动量之间的差信息、以及所述第二移动量的信息，来对所述多个图像进行对准，

其中，所述第一获取步骤通过搜索图像的特征点在两个图像之间移动了多长距离来获取所述第一移动量的信息，并且搜索的范围是基于所述摄像设备的位置信息来确定的。

Images