CN103150715A - 图像拼接处理方法及装置 - Google Patents

Abstract

本申请提供一种图像拼接处理方法及装置，所述方法包括：获取多个场景点对应的图像，每个场景点对应的图像中包括参考图像以及待拼接图像，参考图像与待拼接图像由取景方向不同的图像采集设备所采集，且参考图像与待拼接图像具有重叠区域；分别提取每个场景点对应的参考图像与待拼接图像之间的匹配兴趣点；利用多个场景点对应的匹配兴趣点估计取景方向不同的图像采集设备之间的旋转矩阵以及偏移矩阵；根据旋转矩阵以及偏移矩阵分别对每个场景点对应的图像进行拼接。本申请利用多个场景点对应的图像的匹配兴趣点估计图像采集设备的外参对每个场景点对应的图像进行拼接，减少了因图像采集设备所带来的误差分散的更加平均，改善了图像的拼接质量。

Description

图像拼接处理方法及装置

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像拼接处理方法及装置。

背景技术

随着互联网的进步与发展，电子地图成为了与人们生活息息相关的互联网应用，人们的日常生活以及出门旅行等都逐渐离不开电子地图。但是传统的二维电子地图，由于抽象的符号化表示和精度不够等原因，只能有限的表示道路和建筑物等信息。对于许多用户来说，二维电子地图使用起来比较晦涩，不能满足人们对于地图更精确、更详细、更好用的地图的需求，全景地图应运而生。

全景地图作为一种新兴电子地图服务，逐渐成为互联网地图厂商争夺的热点。目前大部分的全景地图都需要先将图像采集设备所采集的图像进行拼接形成全景图像。常用的拼接方法都是从集中采集的图像中，挑选出一个场景点，利用该场景点对应多幅图像的图像特征进行图像配准、图像融合等步骤，最终得到全景图像。

但是，上述方法存在如下问题：在每个场景点采集图像时，图像采集设备(例如相机)的姿态关系并不是完全不动的，特别是多个图像采集设备同时采集时，即使有很小的误差也会导致图像在融合阶段出现拼接缝隙，请参照图1，图1为采用上述拼接方法所获得的一幅全景图，从图上可以看出明显的拼接缝隙。

发明内容

本申请的目的在于，克服现有技术采用单一场景点对应图像的图像特征进行图像拼接所带来的容易出现拼接缝隙的问题，而提供一种新的图像拼接处理方法及装置。

本申请实施例中的一种图像拼接处理方法，包括：获取多个场景点对应的图像，每个场景点对应的图像中包括参考图像以及待拼接图像，所述参考图像与所述待拼接图像由取景方向不同的图像采集设备所采集，且所述参考图像与所述待拼接图像具有重叠区域；分别提取每个场景点对应的参考图像与待拼接图像之间的匹配兴趣点；利用多个场景点对应的匹配兴趣点估计所述取景方向不同的图像采集设备之间的旋转矩阵以及偏移矩阵；根据所述旋转矩阵以及偏移矩阵分别对每个场景点对应的图像进行拼接。

本申请实施例中的一种图像拼接处理装置，包括：图像获取模块、匹配兴趣点提取模块、矩阵计算模块、图像拼接模块。图像获取模块用于获取多个场景点对应的图像，每个场景点对应的图像中包括参考图像以及待拼接图像，所述参考图像与所述待拼接图像由取景方向不同的图像采集设备所采集，且所述参考图像与所述待拼接图像具有重叠区域。匹配兴趣点提取模块用于分别提取每个场景点对应的参考图像与待拼接图像之间的匹配兴趣点。矩阵计算模块用于利用多个场景点对应的匹配兴趣点估计所述取景方向不同的图像采集设备之间的旋转矩阵以及偏移矩阵。图像拼接模块用于根据所述旋转矩阵以及偏移矩阵分别对每个场景点对应的图像进行拼接。

相对于现有技术，本申请实施例所提出的图像拼接处理方法及装置利用多个场景点对应的图像的匹配兴趣点估计图像采集设备之间的旋转矩阵以及偏移矩阵，然后根据所估计出的旋转矩阵以及偏移矩阵再分别对每个场景点对应的图像进行拼接，这样可以减少因取景方向不同的图像采集设备之间的成像面不同所带来的视差影响以及因图像采集设备在不同的场景点取景时姿态关系发生变化所带来的设备抖动的影响，使这些影响所带来的误差分散的更加平均，可以改善图像的拼接质量，使得图像的拼接缝隙更小甚至可以达到无缝拼接。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1为采用现有技术的拼接方法所获得的一幅全景图。

图2为本发明第一实施例中提供的图像拼接方法的流程示意图。

图3为采用本发明第一实施例中提供的图像拼接方法所获得的一幅全景图。

图4为本发明第二实施例中提供的图像拼接方法的流程示意图。

图5为本发明第三实施例中提供的图像拼接装置的结构示意图。

图6为本发明第四实施例中提供的图像拼接装置的结构示意图。

具体实施方式

为更进一步阐述本申请为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本申请提出的图像拼接处理方法及装置其具体实施方式、方法、步骤、结构、特征及其功效，详细说明如下。

有关本申请的前述及其他技术内容、特点及功效，在以下配合参考图式的较佳实施例的详细说明中将可清楚呈现。通过具体实施方式的说明，当可对本申请为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图式仅是提供参考与说明之用，并非用来对本申请加以限制。

本申请提出一种图像拼接处理方法及装置，可以用于电子全景地图等全景图像的应用中，但是并不局限于此，也可以用于例如虚拟旅游等虚拟现实的其他应用中。下面将结合具体的实施例对本申请做进一步的说明。

第一实施例

图2为本申请第一实施例中的图像拼接处理方法的流程示意图。如图2所示，本实施例中的图像拼接处理方法包括：

步骤S11：获取多个场景点对应的图像，每个场景点对应的图像中包括参考图像以及待拼接图像，所述参考图像与所述待拼接图像由取景方向不同的图像采集设备所采集，且所述参考图像与所述待拼接图像具有重叠区域。

于本申请的实施例中，同一场景点对应的图像来源于取景方向不同的图像采集设备(包括相机、图像传感器等)在同一拍摄点对同一场景的所采集的图像。拍摄点指的是图像的拍摄位置，也就是携带有GPS模块的图像采集设备在采集图像时所记录下来的采集设备的地理位置信息。根据实际的需求，图像采集系统，例如街景采集车等，可以每间隔一定距离采集一次，也就是每间隔一定距离更换一次拍摄点。

图像采集设备例如可以为多个相机，将该多个相机的镜头朝向不同方向即可实现不同取景方向的图像采集。例如，可以是多个设置于同一水平面上的相机以及至少一个设置于竖直方向的相机。设置于同一水平面上的多个相机的光轴可以近似重合于同一圆弧的圆心处且镜头朝向不同，设置于竖直方向的至少一个相机的镜头朝向天空。优选的，相机的镜头可以为广角镜头，例如鱼眼镜头。

由取景方向不同的图像采集设备所采集的多幅图像之间具有一个共同的特点，就是取景方向相邻的图像采集设备(相邻的相机)所采集的两幅图像(以下简称相邻图像)之间至少有一部分是重叠的，也就是具有重叠区域。优选的，相邻图像之间重叠比例达到50%。

相机的数量越多所采集到的图像的数量也越多，可以定义每两幅相邻图像中的一幅图像为参考图像，而另一幅图像为待拼接图像，也可以根据不同的拼接策略进行定义，例如可以定义一幅参考图像，多幅待拼接图像等，本申请的实施方式并不以此为限。

步骤S12：分别提取每个场景点对应的参考图像与待拼接图像之间的匹配兴趣点。

兴趣点(interest point)可以是一幅图像中灰度在水平和垂直方向都有显著变化的特殊点，例如角点，也可以是图像中具有复杂纹理特征的特殊点。兴趣点是图像的底层特征，具有计算量小、信息含量高的特点。兴趣点的提取可以采用基于灰度图像的兴趣点检测法、基于二值图像的兴趣点检测法、或基于模板和基于模板梯度组合等方法。以兴趣点为角点为例，具体的，可以采用suSAN角点检测算法、Morave角点检测算法、和Harris角点检测等算法对参考图像与待拼接图像分别进行兴趣点提取的处理。当然，本领域的技术人员也可以采用其他的兴趣点提取方法，本申请的实施方式并不以此为限。

提取出每个场景点对应的参考图像以及待拼接图像之间的匹配兴趣点，也就是建立参考图像与带拼接图像中兴趣点的相互关联，从而确立匹配兴趣点，即参考图像与待拼接图像中关联最大的兴趣点。

步骤S13：利用多个场景点对应的匹配兴趣点估计所述取景方向不同的图像采集设备之间的旋转矩阵以及偏移矩阵。

图像采集过程中，图像的状态由图像采集设备的姿态所决定，一般来说，图像采集设备的姿态包括：平移、俯仰、滚转、偏航。每个图像采集设备在三维空间中都有六个自由度，这六个自由度中包括可实现平移的X、Y、Z三个自由度。图像采集设备在三维空间中还可以进行三个角度的旋转，偏航指的是图像采集设备围绕Y轴进行的旋转，俯仰指的是图像采集设备围绕X轴进行的旋转，滚转指的是图像采集设备围绕Z轴进行的旋转。

图像采集设备的姿态不同，必然导致各自所采集的图像之间存在空间上的很大差异，尤其是相互之间有重叠部分的两幅图像。利用所述多个场景点对应的图像的匹配兴趣点可以估计出在不同取景方向的图像采集设备之间的俯仰、滚转、偏航的旋转矩阵，以及平移矩阵，也就是对图像采集设备的外参进行估计。具体的估计方法例如可以采用Levenberg-Marquardt算法对所述多个场景点对应的图像的匹配兴趣点进行计算，得到不同取景方向的图像采集设备之间的俯仰、滚转、偏航的旋转矩阵，以及平移矩阵。

步骤S14：根据所述旋转矩阵以及偏移矩阵分别对每个场景点对应的图像进行拼接。

相对于现有技术，本实施例所提出的图像拼接处理方法利用多个场景点对应的图像的匹配兴趣点估计图像采集设备之间的旋转矩阵以及偏移矩阵，然后根据所估计出的旋转矩阵以及偏移矩阵再分别对每个场景点对应的图像进行拼接，这样可以减少因取景方向不同的图像采集设备之间的成像面不同所带来的视差影响以及因图像采集设备在不同的场景点取景时姿态关系发生变化所带来的设备抖动的影响，使这些影响所带来的误差分散的更加平均，可以改善图像的拼接质量，使得图像的拼接缝隙更小甚至可以达到无缝拼接(请参照图3)。

第二实施例

图4为本申请第二实施例中的图像拼接处理方法的流程示意图。如图4所示，本实施例中的图像拼接处理方法包括：

步骤S21：获取多个场景点对应的图像，每个场景点对应的图像中包括参考图像以及待拼接图像，所述参考图像与所述待拼接图像由取景方向不同的图像采集设备所采集，且所述参考图像与所述待拼接图像具有重叠区域。此步骤与第一实施例中的对应步骤相同，这里不再赘述。

步骤S22：分别提取每个场景点对应的参考图像与待拼接图像之间的匹配兴趣点。

于本实施例中，步骤S22进一步可以包括：

步骤S221：对每个场景点对应的参考图像以及待拼接图像进行预处理。

图像的预处理可以包括但不限于数字图像处理的基本操作(如直方图处理、或平滑滤波等)或对图像进行某种变换(如傅里叶变化、Gabor变换、或小波变换)等。

步骤S222：提取经过预处理的参考图像以及待拼接图像的兴趣点。

步骤S223：提取每个兴趣点对应的图像特征。

兴趣点对应的图像特征可以但并不限于为HOG(Histograms of OrientedGradients，梯度方向直方图)特征或LBP(Local Binary Pattern，局部二值模式)等特征。兴趣点对应的图像特征的提取范围可以包括兴趣点以及兴趣点周围一定范围内的图像像素。

步骤S224：通过比对经过预处理的参考图像的兴趣点与待拼接图像的兴趣点对应的图像特征之间的距离，提取出每个场景点对应的参考图像与待拼接图像之间的匹配兴趣点。

由于图像区域特征的相似性，或者无明显特征等原因会产生误匹配。优选的，可以利用兴趣点对应的图像特征之间的距离进行比对，留下参考图像与待拼接图像中彼此对应的兴趣点，也就是匹配兴趣点。所谓的距离，是兴趣点与兴趣点对应的图像特征之间的距离。图像特征之间的距离可以但不局限于匹配兴趣点特征向量的欧式距离。如果Pi、Pj为参考图像中的兴趣点，Qi、Qj为待拼接图像中的兴趣点,{Pi-Qi}和{Pj-Qj}是两对正确的匹配兴趣点，那么Pi和Pj对应的图像特征之间的距离O(Pi,Pj)应当相似于Qi和Qj对应的图像特征之间的距离O(Qi,Qj)，因此，可以通过兴趣点与兴趣点对应的图像特征之间的距离进行比对剔除误匹配点对。

步骤S23：利用多个场景点对应的匹配兴趣点估计所述取景方向不同的图像采集设备之间的旋转矩阵以及偏移矩阵。此步骤与第一实施例中的对应步骤相同，这里不再赘述。

步骤S24：根据所述旋转矩阵以及偏移矩阵分别对每个场景点对应的图像进行拼接。

于本实施例中，步骤S24可以进一步包括以下步骤：

步骤S241：根据所述旋转矩阵以及偏移矩阵将每个场景点对应的参考图像以及待拼接图像进行重映射。

所谓重映射，就是根据所述旋转矩阵以及偏移矩阵将待拼接图像转换到参考图像的坐标系，完成统一坐标变换。

进一步的，还可以在将每个场景点对应的参考图像以及待拼接图像进行重映射前，对取景方向不同的图像采集设备的内参进行标定，利用图像采集设备的内参对参考图像以及待拼接图像进行校正，然后再将校正过的参考图像以及待拼接图像根据取景方向不同的图像采集设备之间的旋转矩阵以及偏移矩阵(也就是图像采集设备的外参)进行重映射，这样可以消除由图像采集设备的内参所造成的误差，进一步提高图像拼接的质量。图像采集设备的内参包括图像采集设备中的镜头的光学畸变以及镜头的焦距。光学畸变一般可分为径向畸变和切向畸变两类。径向畸变就是集合光学中的畸变像差，主要是由于镜头的径向曲率不同而造成的，有桶形畸变和枕型畸变两种。切向畸变通常被认为是由于镜头透镜组的光学中心不共线引起的，包括有各种生成误差和装配误差等。另外也有离心畸变和薄棱畸变等。一般认为，在图像采集过程当中，径向畸变是导致图像畸变的主要因素。在标定量测时，在硬件系统确定的条件下可以利用标定光学畸变，也就是寻找畸变参数，然后根据畸变参数校正图像来消除光学畸变对图像的影响。寻找畸变参数可通过棋盘图像的方式手动或自动描点进行拟合，也可通过不断调整参数找到最佳的消除视频图像的畸变的参数等方式，本申请实施方式并不以此为限。

步骤S242：将每个场景点对应的经过重映射的待拼接图像与参考图像进行融合。

图像融合就是将经过重映射后的参考图像与待拼接图像根据对应关系合并为一幅图像。一般情况下，由于图像采集设备在采集图像时的采集时间、采集角度和光照强度等差异，容易使参考图像与待拼接图像之间的重叠区域出现明暗强度(亮度)的差异，可以采用例如Szeliski加权平均法等算法对图像进行融合。当然，本领域的技术人员也可以采用其他的算法(例如不同频率的融合等)对图像进行融合，本申请实施方式并不以此为限。

可以理解，在进行图像融合之前还可以包括曝光调整、图像最优拼缝寻找等步骤，本申请具体实施方式并不以此为限。

相对于现有技术，本实施例所提出的图像拼接处理方法利用多个场景点对应的图像的匹配兴趣点估计图像采集设备之间的旋转矩阵以及偏移矩阵，然后根据所估计出的旋转矩阵以及偏移矩阵再分别对每个场景点对应的图像进行拼接，这样可以减少因取景方向不同的图像采集设备之间的成像面不同所带来的视差影响以及因图像采集设备在不同的场景点取景时姿态关系发生变化所带来的设备抖动的影响，使这些影响所带来的误差分散的更加平均，可以改善图像的拼接质量，使得图像的拼接缝隙更小甚至可以达到无缝拼接。

第三实施例

图5为本申请第三实施例中的图像拼接处理装置的结构示意图。如图5所示，本实施例中的图像拼接处理装置30可以实现本申请第一实施例中的图像拼接处理方法，图像拼接处理装置30具体可以包括：图像获取模块31、匹配兴趣点提取模块32、矩阵计算模块33以及图像拼接模块34。

图像获取模块31用于获取多个场景点对应的图像，每个场景点对应的图像中包括参考图像以及待拼接图像，所述参考图像与所述待拼接图像由取景方向不同的图像采集设备所采集，且所述参考图像与所述待拼接图像具有重叠区域。匹配兴趣点提取模块32用于分别提取每个场景点对应的参考图像与待拼接图像之间的匹配兴趣点。矩阵计算模块33用于利用多个场景点对应的匹配兴趣点估计所述取景方向不同的图像采集设备之间的旋转矩阵以及偏移矩阵。图像拼接模块34用于根据所述旋转矩阵以及偏移矩阵分别对每个场景点对应的图像进行拼接。

相对于现有技术，本实施例所提出的图像拼接处理装置利用多个场景点对应的图像的匹配兴趣点估计图像采集设备之间的旋转矩阵以及偏移矩阵，然后根据所估计出的旋转矩阵以及偏移矩阵再分别对每个场景点对应的图像进行拼接，这样可以减少因取景方向不同的图像采集设备之间的成像面不同所带来的视差影响以及因图像采集设备在不同的场景点取景时姿态关系发生变化所带来的设备抖动的影响，使这些影响所带来的误差分散的更加平均，可以改善图像的拼接质量，使得图像的拼接缝隙更小甚至可以达到无缝拼接。

第四实施例

图6为本申请第四实施例中的图像拼接处理装置的结构示意图。如图6所示，本实施例中的图像拼接处理装置40可以实现本申请第一实施例中的图像拼接处理方法，图像拼接处理装置40具体可以包括：图像获取模块41、匹配兴趣点提取模块42、矩阵计算模块43以及图像拼接模块44。

图像获取模块41用于获取多个场景点对应的图像，每个场景点对应的图像中包括参考图像以及待拼接图像，所述参考图像与所述待拼接图像由取景方向不同的图像采集设备所采集，且所述参考图像与所述待拼接图像具有重叠区域。匹配兴趣点提取模块42用于分别提取每个场景点对应的参考图像与待拼接图像之间的匹配兴趣点。矩阵计算模块43用于利用多个场景点对应的匹配兴趣点估计所述取景方向不同的图像采集设备之间的旋转矩阵以及偏移矩阵。图像拼接模块44用于根据所述旋转矩阵以及偏移矩阵分别对每个场景点对应的图像进行拼接。

进一步的，于本实施例中，所述匹配兴趣点提取模块42还可以包括：预处理单元421，用于对每个场景点对应的参考图像以及待拼接图像进行预处理；兴趣点提取单元422，用于提取经过预处理的参考图像以及待拼接图像的兴趣点；图像特征提取单元423，用于提取每个兴趣点对应的图像特征；以及匹配兴趣点提取单元424，用于通过比对经过预处理的参考图像的兴趣点与待拼接图像的兴趣点对应的图像特征之间的距离，提取出每个场景点对应的参考图像与待拼接图像之间的匹配兴趣点。

每个兴趣点对应的图像特征可以为HOG特征或LBP特征等，本申请的具体实施方式并不以此为限。

优选的，所述矩阵计算模块43采用Levenberg-Marquardt算法利用多个场景点对应的匹配兴趣点对所述取景方向不同的图像采集设备之间的旋转矩阵以及偏移矩阵进行估计。

进一步的，所述图像拼接模块44可以包括：重映射单元441，用于根据所述旋转矩阵以及偏移矩阵将每个场景点对应的参考图像以及待拼接图像进行重映射；以及融合单元442，用于将每个场景点对应的经过重映射的待拼接图像与参考图像进行融合。

相对于现有技术，本实施例所提出的图像拼接处理装置利用多个场景点对应的图像的匹配兴趣点估计图像采集设备之间的旋转矩阵以及偏移矩阵，然后根据所估计出的旋转矩阵以及偏移矩阵再分别对每个场景点对应的图像进行拼接，这样可以减少因取景方向不同的图像采集设备之间的成像面不同所带来的视差影响以及因图像采集设备在不同的场景点取景时姿态关系发生变化所带来的设备抖动的影响，使这些影响所带来的误差分散的更加平均，可以改善图像的拼接质量，使得图像的拼接缝隙更小甚至可以达到无缝拼接。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者装置中还存在另外的相同要素。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制，虽然本申请已以较佳实施例揭露如上，然而并非用以限定本申请,任何熟悉本专业的技术人员，在不脱离本申请技术方案范围内,当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本申请技术方案内容，依据本申请的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本申请技术方案的范围内。

Claims (10)

1.一种图像拼接处理方法，其特征在于，所述方法包括：

获取多个场景点对应的图像，每个场景点对应的图像中包括参考图像以及待拼接图像，所述参考图像与所述待拼接图像由取景方向不同的图像采集设备所采集，且所述参考图像与所述待拼接图像具有重叠区域；

分别提取每个场景点对应的参考图像与待拼接图像之间的匹配兴趣点；

利用多个场景点对应的匹配兴趣点估计所述取景方向不同的图像采集设备之间的旋转矩阵以及偏移矩阵；以及

根据所述旋转矩阵以及偏移矩阵分别对每个场景点对应的图像进行拼接。

2.如权利要求1所述的图像拼接处理方法，其特征在于：所述分别提取每个场景点对应的参考图像与待拼接图像之间的匹配兴趣点的步骤包括：

对每个场景点对应的参考图像以及待拼接图像进行预处理；

提取经过预处理的参考图像以及待拼接图像的兴趣点；

提取每个兴趣点对应的图像特征；以及

通过比对经过预处理的参考图像的兴趣点与待拼接图像的兴趣点对应的图像特征之间的距离，提取出每个场景点对应的参考图像与待拼接图像之间的匹配兴趣点。

3.如权利要求2所述的图像拼接处理方法，其特征在于：每个兴趣点对应的图像特征包括HOG特征或LBP特征。

4.如权利要求1所述的图像拼接处理方法，其特征在于：采用Levenberg-Marquardt算法利用多个场景点对应的匹配兴趣点对所述取景方向不同的图像采集设备之间的旋转矩阵以及偏移矩阵进行估计。

5.如权利要求1所述的图像拼接处理方法，其特征在于：所述根据所述旋转矩阵以及偏移矩阵分别对每个场景点对应的图像进行拼接的步骤，包括：

根据所述旋转矩阵以及偏移矩阵将每个场景点对应的参考图像以及待拼接图像进行重映射；以及

将每个场景点对应的经过重映射的待拼接图像与参考图像进行融合。

6.一种图像拼接处理装置，其特征在于，所述装置包括：

图像获取模块，用于获取多个场景点对应的图像，每个场景点对应的图像中包括参考图像以及待拼接图像，所述参考图像与所述待拼接图像由取景方向不同的图像采集设备所采集，且所述参考图像与所述待拼接图像具有重叠区域；

匹配兴趣点提取模块，用于分别提取每个场景点对应的参考图像与待拼接图像之间的匹配兴趣点；

矩阵计算模块，用于利用多个场景点对应的匹配兴趣点估计所述取景方向不同的图像采集设备之间的旋转矩阵以及偏移矩阵；以及

图像拼接模块，用于根据所述旋转矩阵以及偏移矩阵分别对每个场景点对应的图像进行拼接。

7.如权利要求6所述的图像拼接处理装置，其特征在于：所述匹配兴趣点提取模块，包括：

预处理单元，用于对每个场景点对应的参考图像以及待拼接图像进行预处理；

兴趣点提取单元，用于提取经过预处理的参考图像以及待拼接图像的兴趣点；

图像特征提取单元，用于提取每个兴趣点对应的图像特征；以及

匹配兴趣点提取单元，用于通过比对经过预处理的参考图像的兴趣点与待拼接图像的兴趣点对应的图像特征之间的距离，提取出每个场景点对应的参考图像与待拼接图像之间的匹配兴趣点。

8.如权利要求7所述的图像拼接处理装置，其特征在于：每个兴趣点对应的图像特征包括HOG特征或LBP特征。

9.如权利要求6所述的图像拼接处理装置，其特征在于：所述矩阵计算模块采用Levenberg-Marquardt算法利用多个场景点对应的匹配兴趣点对所述取景方向不同的图像采集设备之间的旋转矩阵以及偏移矩阵进行估计。

10.如权利要求6所述的图像拼接处理装置，其特征在于：所述图像拼接模块，包括：

重映射单元，用于根据所述旋转矩阵以及偏移矩阵将每个场景点对应的参考图像以及待拼接图像进行重映射；以及

融合单元，用于将每个场景点对应的经过重映射的待拼接图像与参考图像进行融合。

Images