CN104103051A - 一种图像拼接方法和设备 - Google Patents

Abstract

本发明实施例提供一种图像拼接方法和设备，涉及图像处理领域，对某重叠区域很小或者不存在重叠区域的相邻图像进行拼接，并且能够提高拼接的精度。其方法为：在两个相邻图像中，首先求出第一图像所在平面到第二图像所在平面的单应矩阵，而后通过所述单应矩阵求出所述两个相邻图像所在平面的旋转矩阵和所述相邻图像各自的焦距，进而对所述两个相邻图像进行拼接。本发明的实施例用于两相邻图像的拼接。

Description

一种图像拼接方法和设备

技术领域

本发明涉及图像处理领域，尤其涉及一种图像拼接方法和设备。

背景技术

图像配准(Image Registration)是图像拼接技术中的一个关键的步骤，它通过评价两幅或多幅图像的相似性以确定对应点，然后根据确定对应点建立两幅图像之间的对应关系，从而确定相应几何变换参数。

现有的图像拼接的常见做法是，首先可以通过SIFT(ScaleInvariant Feature Transform，尺度不变特征变换)算法找出待匹配的两幅相邻图像的特征点，然后利用RANSAC(Random SampleConsensus Algorithm，随即样本匹配算法)将可能导致误匹配的点过滤掉，得到输入的相邻图像真实的匹配点，最后通过两幅相邻图像匹配点之间的匹配关系，将相邻的图像拼接在一起。

在另一种现有的图像拼接方法中，通过两幅相邻图像之间具有明显连续特征信息的物体确定所述两幅图像之间的空间关系参数，根据得到的空间关系参数对两幅图像进行图像拼接。

在实现上述对软件版本的校对过程中，发明人发现现有技术中至少存在如下问题：

若利用SIFT算法和RANSAC算法来进行图像拼接，则要求相邻图像之间有较大的重叠区域，一般要求重叠区域大于20％，这对于某些重叠区域很小或者不存在重叠区域的场景是不适用的。

若通过匹配物体跨场景的连续特征信息来进行图像拼接，则对于物体的对应点的获取精度要求很高，而摄像机成像满足射影变换，而该变换是不保证平行线不变的，也不保证各个点之间的距离不变，保证不了对应点的获取精度，因此，此方法的拼接是不够精确的。

发明内容

本发明的实施例提供一种图像拼接方法和设备，能够对某重叠区域很小或者不存在重叠区域的相邻图像进行拼接，并且能够提高拼接的精度。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，提供一种图像拼接方法，所述方法包括：

获取第一图像和第二图像，所述第一图像包括参照图样的第一部分，所述第二图像包括所述参照图样的第二部分；

根据所述第一图像中所述参照图样的第一部分的特征点的位置与所述第二图像中所述参照图样的第二部分的特征点的位置获取所述第一图像成像平面到所述第二图像成像平面的第一单应矩阵；

根据所述第一单应矩阵获取所述第一图像成像平面的第一旋转矩阵和第一焦距以及所述第二图像成像平面的第二旋转矩阵和第二焦距；

根据所述第一单应矩阵、所述第一旋转矩阵、第一焦距和所述第二旋转矩阵、第二焦距对所述第一图像和所述第二图像进行配准。

结合第一方面，在第一种可能的实现方式中，所述根据所述第一图像中所述参照图样的第一部分的特征点的位置与所述第二图像中所述参照图样的第二部分的特征点的位置获取所述第一图像成像平面到所述第二图像成像平面的第一单应矩阵包括：

将所述第一图像中所述参照图样的第一部分的特征点投影到第一平面得到第三图像，根据所述第一图像中所述参照图样的第一部分的特征点的位置与所述第三图像的特征点的位置获取所述第一图像成像平面到所述第一平面的第二单应矩阵；

在所述第一平面上，根据对称性获取与所述第三图像中的特征点轴对称的特征点，获取扩展后的第三图像；

将所述扩展后的第三图像投影到所述第一图像成像平面得到扩展后的第一图像，并根据与所述第三图像中的特征点轴对称的特征点的位置以及所述第二单应矩阵的逆矩阵，获取所述扩展后的第一图像的扩展特征点的位置；

将所述第二图像中所述参照图样的第二部分的特征点投影到第二平面得到第四图像，根据所述第二图像中所述参照图样的第二部分的特征点的位置与所述第四图像的特征点的位置获取所述第二图像成像平面到所述第二平面的第三单应矩阵；

在所述第二平面上，根据对称性获取与所述第四图像中的特征点轴对称的特征点，获取扩展后的第四图像；

将所述扩展后的第四图像投影到所述第二图像成像平面得到扩展后的第二图像，并根据与所述第四图像中的特征点轴对称的特征点的位置以及所述第三单应矩阵的逆矩阵，获取所述扩展后的第二图像的扩展特征点的位置；

根据所述扩展后的第一图像中所述参照图样的第一部分的特征点和所述扩展后的第一图像的扩展特征点的位置，以及所述扩展后的第二图样中所述参照图样的第二部分的特征点、所述扩展后的第二图像的扩展特征点之间的位置，获取所述第一图像成像平面到所述第二图像成像平面的所述第一单应矩阵。

结合第一方面或第一方面的第一种实现方式，在第二种可能的实现方式中，所述根据所述第一单应矩阵获取所述第一图像成像平面的第一旋转矩阵和第一焦距以及所述第二图像成像平面的第二旋转矩阵和第二焦距，包括：

根据所述第一单应矩阵利用旋转矩阵公式获取所述第一旋转矩阵和第一焦距以及所述第二图像成像平面的第二旋转矩阵和第二焦距；

所述旋转矩阵公式包括：M≈V₁RV₀，其中M表示所述第一单应矩阵，R表示旋转矩阵，且R＝(r_ij)，i，j＝0，1，2f0为第一焦距，f1为第二焦距，

$V_1=\left[\begin{array}{ccc}{f}_1& 0& 0\\ 0& f_1& 0\\ 0& 0& f_1\end{array}\right],$ $V_0=\left[\begin{array}{ccc}{f}_0& 0& 0\\ 0& f_0& 0\\ 0& 0& f_0\end{array}\right].$

结合第一方面或第一方面的第一至第二种可能的实现方式中的任一项，在第三种可能的实现方式中，所述方法包括：

所述第一图像成像平面具有平行于所述第一图像成像平面的第一基线，所述第二图像成像平面具有平行于所述第二图像成像平面的第二基线，所述第一平面平行于所述第一基线，且所述第二平面平行于所述第二基线。

另外，需要说明的是：

所述参照图样为在获取所述第一图像和所述第二图像之前预设置在拍摄场景的；或

所述参照图样为在获取所述第一图像和所述第二图像之前所述拍摄场景中已存在的图样。

第二方面，提供一种图像拼接设备，所述设备包括：

图样获取模块，用于获取第一图像和第二图像，所述第一图像包括参照图样的第一部分，所述第二图像包括所述参照图样的第二部分；

空间参数获取模块，用于根据所述第一图像中所述参照图样的第一部分的特征点的位置与所述第二图像中所述参照图样的第二部分的特征点的位置获取所述第一图像成像平面到所述第二图像成像平面的第一单应矩阵；

根据所述第一单应矩阵获取所述第一图像成像平面的第一旋转矩阵和第一焦距以及所述第二图像成像平面的第二旋转矩阵和第二焦距；

配准模块，用于根据所述第一单应矩阵、所述第一旋转矩阵、第一焦距和所述第二旋转矩阵、第二焦距对所述第一图像和所述第二图像进行配准。

结合第二方面，在第一种可能的实现方式中，所述空间参数获取模块，具体用于：

将所述第一图像中所述参照图样的第一部分的特征点投影到第一平面得到第三图像，根据所述第一图像中所述参照图样的第一部分的特征点的位置与所述第三图像的特征点的位置获取所述第一图像成像平面到所述第一平面的第二单应矩阵；

在所述第一平面上，根据对称性获取与所述第三图像中的特征点轴对称的特征点，获取扩展后的第三图像；

将所述扩展后的第三图像投影到所述第一图像成像平面得到扩展后的第一图像，并根据与所述第三图像中的特征点轴对称的特征点的位置以及所述第二单应矩阵的逆矩阵，获取所述扩展后的第一图像的扩展特征点的位置；

将所述第二图像中所述参照图样的第二部分的特征点投影到第二平面得到第四图像，根据所述第二图像中所述参照图样的第二部分的特征点的位置与所述第四图像的特征点的位置获取所述第二图像成像平面到所述第二平面的第三单应矩阵；

在所述第二平面上，根据对称性获取与所述第四图像中的特征点轴对称的特征点，获取扩展后的第四图像；

将所述扩展后的第四图像投影到所述第二图像成像平面得到扩展后的第二图像，并根据与所述第四图像中的特征点轴对称的特征点的位置以及所述第三单应矩阵的逆矩阵，获取所述扩展后的第二图像的扩展特征点的位置；

根据所述扩展后的第一图像中所述参照图样的第一部分的特征点和所述扩展后的第一图像的扩展特征点的位置，以及所述扩展后的第二图样中所述参照图样的第二部分的特征点、所述扩展后的第二图像的扩展特征点之间的位置，获取所述第一图像成像平面到所述第二图像成像平面的所述第一单应矩阵。

结合第二方面或第二方面的第一种实现方式，在第二种可能的实现方式中，所述空间参数获取模块，还具体用于：

根据所述第一单应矩阵利用旋转矩阵公式获取所述第一旋转矩阵和第一焦距以及所述第二图像成像平面的第二旋转矩阵和第二焦距；

所述旋转矩阵公式包括：M≈V₁RV₀，其中M表示所述第一单应矩阵，R表示旋转矩阵，且R＝(r_ij)，i，j＝0，1，2，f0为第一焦距，f1为第二焦距，

$V_1=\left[\begin{array}{ccc}{f}_1& 0& 0\\ 0& f_1& 0\\ 0& 0& f_1\end{array}\right],$ $V_0=\left[\begin{array}{ccc}{f}_0& 0& 0\\ 0& f_0& 0\\ 0& 0& f_0\end{array}\right].$

结合第二方面或第二方面的第一至第二种可能的实现方式中的任一种，在第三种可能的实现方式中，所述第一图像成像平面具有平行于所述第一图像成像平面的第一基线，所述第二图像成像平面具有平行于所述第二图像成像平面的第二基线，所述第一平面平行于所述第一基线，且所述第二平面平行于所述第二基线。

另外，需要说明的是：

所述参照图样为在获取所述第一图像和所述第二图像之前预设置在拍摄场景的；或

所述参照图样为在获取所述第一图像和所述第二图像之前所述拍摄场景中已存在的图样。

本发明实施例提供一种图像拼接方法和设备，在两个相邻图像中，首先求出第一图像所在平面到第二图像所在平面的单应矩阵，而后通过所述单应矩阵求出所述两个相邻图像所在平面的旋转矩阵和所述相邻图像各自的焦距，进而对所述两个相邻图像进行拼接，进而能够对某重叠区域很小或者不存在重叠区域的相邻图像进行拼接，并且能够提高拼接的精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像拼接方法的流程示意图；

图2为本发明实施例提供的另一种图像拼接方法的流程示意图；

图3为本发明实施例提供的一种以标定板为参照图样的两幅图像的示意图；

图4为本发明实施例提供的一种以标定板为参照图样的图像拼接过程中的特征点映射示意图；

图5为为本发明实施例提供的一种以标定板为参照图样的图像拼接步骤示意图；

图6为本发明实施例提供的一种图像拼接设备的结构示意图；

图7为本发明实施例提供的另一种图像拼接设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种图像拼接方法，如图1所示，所述方法包括：

S101、获取第一图像和第二图像，所述第一图像包括参照图样的第一部分，所述第二图像包括所述参照图样的第二部分。

在本发明的一个实施例中，所述参照图样的第一部分和第二部分组成整个所述参照图样。

具体的，可以通过以下方法实现：

选定一个参照图样，在两个相邻的图像中分别选取第一图像和第二图像，所述第一图像包括参照图样的第一部分，所述第二图像包括所述参照图样的第二部分；

需要说明的是，这里选取的图样可以是所述相邻图像中存在的，也可以是认为插入的，例如可以是棋盘格标定板。

S102、根据所述第一图像中所述参照图样的第一部分的特征点的位置与所述第二图像中所述参照图样的第二部分的特征点的位置获取所述第一图像成像平面到所述第二图像成像平面的第一单应矩阵。

具体的可以通过以下方法实现：

将所述第一图像中所述参照图样的第一部分的特征点投影到第一平面得到第三图像，根据所述第一图像中所述参照图样的第一部分的特征点的位置与所述第三图像的特征点的位置获取所述第一图像成像平面到所述第一平面的第二单应矩阵；

根据对称性获取与所述第三图像中的特征点轴对称的特征点，获取扩展后的第三图像，并将扩展出的特征点通过第二单应矩阵的逆矩阵投影回第一图像所在平面，在第一平面得到参照图样的全部特征点的位置；

对第二图像做上述相同的处理，在第二平面上得到参照图样的全部特征点的位置；

根据上述方法所得到的第一平面和第二平面中各自包含的参照图样的全部特征点的位置的对应关系，获取所述第一图像成像平面到所述第二图像成像平面的所述第一单应矩阵。

S103、根据所述第一单应矩阵获取所述第一图像成像平面的第一旋转矩阵和第一焦距以及所述第二图像成像平面的第二旋转矩阵和第二焦距。

S104、根据所述第一单应矩阵、所述第一旋转矩阵、第一焦距和所述第二旋转矩阵、第二焦距对所述第一图像和所述第二图像进行配准。

本发明实施例提供一种图像拼接方法，在两个相邻图像中，首先求出第一图像所在平面到第二图像所在平面的单应矩阵，而后通过所述单应矩阵求出所述两个相邻图像所在平面的旋转矩阵和所述相邻图像各自的焦距，进而对所述两个相邻图像进行拼接，进而能够对某重叠区域很小或者不存在重叠区域的相邻图像进行拼接，并且能够提高拼接的精度。

为了使本领域技术人员能够更清楚地理解本发明实施例提供的技术方案，下面通过具体的实施例，对本发明实施例提供的另一种图像拼接方法进行详细说明。

本发明实施例提供另一种图像拼接方法，如图2所示，所述方法包括：

S201、获取相邻的第一图像和第二图像，所述第一图像包括参照图样的第一部分，所述第二图像包括所述参照图样的第二部分，所述参照图样的第一部分和第二部分组成整个所述参照图样。

具体的，可以通过以下方法实现：

首先，选定一个参照图样，在两个相邻的图像中分别选取第一图像和第二图像，所述第一图像包括参照图样的第一部分，所述第二图像包括所述参照图样的第二部分，所述参照图样的第一部分和第二部分组成整个所述参照图样；

需要说明的是，这里选取的图样可以是所述相邻图像中存在的，也可以是认为插入的，例如可以是棋盘格标定板。

示例性的，如图3所示，上述图样可以为棋盘格标定板：

将左右两个摄像机作为图像采集设备，在场景中选取一个内角点(如图3中的小圆圈所标记)为4×6的标定板作为参照图样，左右两个摄像机拍摄的图像分别包含该参照图样的一部分，左右两个图像中所包含的图样部分可以组成整个参照图样，需要说明的是，左右两个图像可以有重合部分，这里所说的可以组成整个参照图样即包括两者恰好可以互补成一个参照图样；也包括将两者重合部分拼接在一起组成整个的参照图样。

需要说明的是，左右两个图像的重叠部分很小，之所以在这里取很小的重叠部分，是为了方便后期的曝光补偿(ExposureCompensation)，就图像配准而言，这里的左右两个图像可以没有重叠部分。

S202、选取一个和第一图像所在平面的基线平行的第一平面，通过该第一平面，在第一图像所在平面中扩展出第一平面中所包含的图样的全部特征点。

具体的，可以通过以下方法实现：

若存在一个和第一图像所在平面的基线平行的第一平面，则将第一图像中包含的参照图样的特征点映射到该第一平面上，根据该第一平面上所映射得出的特征点和第一图像中包含的参照图样的特征点，求出第一图像平面到该第一平面的第二单应矩阵，而后根据参照图样中特征点的对称性，在该第一平面中扩展出参照图样中所有的特征点的映射，最后将所求出的特征点的映射根据求出的第二单应矩阵映射回第一图像所在平面。

示例性的，如图4所示，左边的图像为第一图像，左边的图像中包含的参照图样的特征点(图4中左边图像的圆点)在第一平面(图4中右边的平面)上的投影(图4中右边的平面上的圆点)，假设第一平面为π平面：

左边图像所包含的标定板的一部分拥有12个特征点，记它们的坐标为(xi，yi)，其中i＝0、1、2…，11。若存在一个和左边图像所在平面的基线平行的平面π，左边图像中标定板上的12个特征点在平面π上的成像坐标在这里记为(ui，vi)，i＝0、1、2…，11。。假定标定板棋盘格在平面π上的成像的图案的宽度为d且相邻内角点之间的距离和角度保持不变，则(ui，vi)分别可以表示为：(d，d)、(2d，d)、(3d，d)、(d，2d)、(2d，2d)、(3d，2d)、(d，3d)、(2d，3d)、(3d，3d)、(d，4d)、(2d，4d)、(3d，4d)。

设左边图像所在平面到平面π的单应矩阵为C(c_ij)，i＝0，1，2；j＝0，1，2；显然c22＝1，则利用以下方法求得单应矩阵C。

我们取i＝0，1，2，3，于是有

$\mathrm{ui}=\frac{c00*\mathrm{xi}+c01*\mathrm{yi}+c02}{c20*\mathrm{xi}+c21*\mathrm{yi}+c22}$

$\mathrm{vi}=\frac{c10*\mathrm{xi}+c11*\mathrm{yi}+c12}{c20*\mathrm{xi}+c21*\mathrm{yi}+c22}$

将上面的式子重新组织一下，可得：

这是一个线性方程组，同时我们有左边图像中与平面π中的12组对应点，所以可以采用最小二乘法来提高解的精度，通过上面的计算可以求得单应矩阵C，根据对称性，可以得到从平面π到左边图像所在平面的单应矩阵D(dij)＝C^-1，i＝0，1，2；j＝0，1，2；

在平面π中扩展出参照图样标定板右边的12个特征点，根据标定板图样的对称性，我们可以得到在平面π中参照图样标定板右边的12个特征点的坐标为：(4d，d)，(5d，d)，(6d，d)，(4d，2d)，(5d，2d)，(6d，2d)，(4d，3d)，(5d，3d)，(6d，3d)，(4d，4d)，(5d，4d)，(6d，4d)；

如图5所示，根据 $\left(\begin{array}{c}\mathrm{xi}\\ \mathrm{yi}\\ 1\end{array}\right)=D\left(\begin{array}{c}\mathrm{ui}\\ \mathrm{vi}\\ 1\end{array}\right)$ 将上述平面π中扩展出的12个特征点的坐标带入ui与vi，求出左边图像所在平面上与平面π中扩展的特征点所对应的特征点的坐标。

S203、选取一个和第二图像所在平面的基线平行的第二平面，通过该第二平面，在第二图像所在平面中扩展出第二平面中所包含的图样的全部特征点。

具体的，可以通过以下方法实现：

可以通过和步骤S202相同的方法在右边的第二图像坐在平面上扩展出参照图样标定板左边的12个特征点，这里不再赘述。其中第一平面和第二平面可以为同一个平面，也可以为两个相互平行的平面，这里不做限定。

S204、利用第一图像扩展出的参照图样的特征点和第二图像扩展出的参照图样的特征点，求出第一图像所在平面到第二图像所在平面的单应矩阵。

示例性的，假设左边图像扩展出的参照图样标定板右边的12个特征点的坐标为(xi，yi)，i＝0，1，2…，11；右边图像扩展出的参照图样标定板左边的12个特征点的坐标为(xj，yj)，j＝0，1，2…，11；这里将左边图像所在平面到右边图像所在平面的单应矩阵假定为M，则通过以下矩阵方程可求得M：

$\left(\begin{array}{c}\mathrm{xi}\\ \mathrm{yi}\\ 1\end{array}\right)=M\left(\begin{array}{c}\mathrm{xj}\\ \mathrm{yj}\\ 1\end{array}\right).$

S205、根据第一图像所在平面到第二图像所在平面的单应矩阵求出第一图像所在平面的旋转矩阵和第二图像所在平面的旋转矩阵以及第一图像和第二图像各自的焦距。

具体的，可以通过以下方法实现：

根据所述第一单应矩阵利用旋转矩阵公式获取所述第一旋转矩阵和第一焦距以及所述第二图像成像平面的第二旋转矩阵和第二焦距；

所述旋转矩阵公式包括：M≈V₁RV₀，其中M表示所述第一单应矩阵，R表示旋转矩阵，且R＝(r_ij)，i，j＝0，1，2，f0为第一焦距，f1为第二焦距，

$V_1=\left[\begin{array}{ccc}{f}_1& 0& 0\\ 0& f_1& 0\\ 0& 0& f_1\end{array}\right],$ $V_0=\left[\begin{array}{ccc}{f}_0& 0& 0\\ 0& f_0& 0\\ 0& 0& f_0\end{array}\right].$

S206、根据第一图像所在平面的旋转矩阵和第二图像所在平面的旋转矩阵以及第一图像和第二图像各自的焦距，对第一图像和第二图像进行配准。

本发明实施例提供一种图像拼接方法，在两个相邻图像中，首先求出第一图像所在平面到第二图像所在平面的单应矩阵，而后通过所述单应矩阵求出所述两个相邻图像所在平面的旋转矩阵和所述相邻图像各自的焦距，进而对所述两个相邻图像进行拼接，能够对某重叠区域很小或者不存在重叠区域的相邻图像进行拼接，并且能够提高拼接的精度。

本发明另一实施例提供一种图像拼接设备01，如图6所示，所述设备包括：

图样获取模块011，用于获取第一图像和第二图像，所述第一图像包括参照图样的第一部分，所述第二图像包括所述参照图样的第二部分，所述参照图样的第一部分和第二部分组成整个所述参照图样；

空间参数获取模块012，用于根据所述第一图像中所述参照图样的第一部分的特征点的位置与所述第二图像中所述参照图样的第二部分的特征点的位置获取所述第一图像成像平面到所述第二图像成像平面的第一单应矩阵；

根据所述第一单应矩阵获取所述第一图像成像平面的第一旋转矩阵和第一焦距以及所述第二图像成像平面的第二旋转矩阵和第二焦距；

配准模块013，用于根据所述第一单应矩阵、所述第一旋转矩阵、第一焦距和所述第二旋转矩阵、第二焦距对所述第一图像和所述第二图像进行配准。

进一步的，空间参数获取模块012还具体用于：

将所述第一图像中所述参照图样的第一部分的特征点投影到第一平面得到第三图像，根据所述第一图像中所述参照图样的第一部分的特征点的位置与所述第三图像的特征点的位置获取所述第一图像成像平面到所述第一平面的第二单应矩阵；

在所述第一平面上，根据对称性获取与所述第三图像中的特征点轴对称的特征点，获取扩展后的第三图像；

将所述扩展后的第三图像投影到所述第一图像成像平面得到扩展后的第一图像，并根据与所述第三图像中的特征点轴对称的特征点的位置以及所述第二单应矩阵的逆矩阵，获取所述扩展后的第一图像的扩展特征点的位置；

将所述第二图像中所述参照图样的第二部分的特征点投影到第二平面得到第四图像，根据所述第二图像中所述参照图样的第二部分的特征点的位置与所述第四图像的特征点的位置获取所述第二图像成像平面到所述第二平面的第三单应矩阵；

在所述第二平面上，根据对称性获取与所述第四图像中的特征点轴对称的特征点，获取扩展后的第四图像；

将所述扩展后的第四图像投影到所述第二图像成像平面得到扩展后的第二图像，并根据与所述第四图像中的特征点轴对称的特征点的位置以及所述第三单应矩阵的逆矩阵，获取所述扩展后的第二图像的扩展特征点的位置；

根据所述扩展后的第一图像中所述参照图样的第一部分的特征点和所述扩展后的第一图像的扩展特征点的位置，以及所述扩展后的第二图样中所述参照图样的第二部分的特征点、所述扩展后的第二图像的扩展特征点之间的位置，获取所述第一图像成像平面到所述第二图像成像平面的所述第一单应矩阵。

再进一步的，空间参数获取模块012还具体用于：

根据所述第一单应矩阵利用旋转矩阵公式获取所述第一旋转矩阵和第一焦距以及所述第二图像成像平面的第二旋转矩阵和第二焦距；

所述旋转矩阵公式包括：M≈V₁RV₀，其中M表示所述第一单应矩阵，R表示旋转矩阵，且R＝(r_ij)，i，j＝0，1，2，f0为第一焦距，f1为第二焦距，

$V_1=\left[\begin{array}{ccc}{f}_1& 0& 0\\ 0& f_1& 0\\ 0& 0& f_1\end{array}\right],$ $V_0=\left[\begin{array}{ccc}{f}_0& 0& 0\\ 0& f_0& 0\\ 0& 0& f_0\end{array}\right].$

本发明实施例提供一种图像拼接设备，在两个相邻图像中，首先求出第一图像所在平面到第二图像所在平面的单应矩阵，而后通过所述单应矩阵求出所述两个相邻图像所在平面的旋转矩阵和所述相邻图像各自的焦距，进而对所述两个相邻图像进行拼接，能够对某重叠区域很小或者不存在重叠区域的相邻图像进行拼接，并且能够提高拼接的精度。

本发明实施例还提供另一种图像拼接设备02，如图7所示，设备02总线024；以及连接到总线024上的接口021、存储器022、以及处理器023，其中存储器022用于存储指令，该处理器023用于执行该指令用于：

通过接口021获取第一图像和第二图像，所述第一图像包括参照图样的第一部分，所述第二图像包括所述参照图样的第二部分；

根据所述第一图像中所述参照图样的第一部分的特征点的位置与所述第二图像中所述参照图样的第二部分的特征点的位置获取所述第一图像成像平面到所述第二图像成像平面的第一单应矩阵；

根据所述第一单应矩阵获取所述第一图像成像平面的第一旋转矩阵和第一焦距以及所述第二图像成像平面的第二旋转矩阵和第二焦距；

根据所述第一单应矩阵、所述第一旋转矩阵、第一焦距和所述第二旋转矩阵、第二焦距对所述第一图像和所述第二图像进行配准。

可选的，处理器023可以用于执行该指令用于：

将所述第一图像中所述参照图样的第一部分的特征点投影到第一平面得到第三图像，根据所述第一图像中所述参照图样的第一部分的特征点的位置与所述第三图像的特征点的位置获取所述第一图像成像平面到所述第一平面的第二单应矩阵；

在所述第一平面上，根据对称性获取与所述第三图像中的特征点轴对称的特征点，获取扩展后的第三图像；

将所述扩展后的第三图像投影到所述第一图像成像平面得到扩展后的第一图像，并根据与所述第三图像中的特征点轴对称的特征点的位置以及所述第二单应矩阵的逆矩阵，获取所述扩展后的第一图像的扩展特征点的位置；

将所述第二图像中所述参照图样的第二部分的特征点投影到第二平面得到第四图像，根据所述第二图像中所述参照图样的第二部分的特征点的位置与所述第四图像的特征点的位置获取所述第二图像成像平面到所述第二平面的第三单应矩阵；

在所述第二平面上，根据对称性获取与所述第四图像中的特征点轴对称的特征点，获取扩展后的第四图像；

将所述扩展后的第四图像投影到所述第二图像成像平面得到扩展后的第二图像，并根据与所述第四图像中的特征点轴对称的特征点的位置以及所述第三单应矩阵的逆矩阵，获取所述扩展后的第二图像的扩展特征点的位置；

根据所述扩展后的第一图像中所述参照图样的第一部分的特征点和所述扩展后的第一图像的扩展特征点的位置，以及所述扩展后的第二图样中所述参照图样的第二部分的特征点、所述扩展后的第二图像的扩展特征点之间的位置，获取所述第一图像成像平面到所述第二图像成像平面的所述第一单应矩阵。

可选的，处理器023还可以用于执行该指令用于：

根据所述第一单应矩阵利用旋转矩阵公式获取所述第一旋转矩阵和第一焦距以及所述第二图像成像平面的第二旋转矩阵和第二焦距；

所述旋转矩阵公式包括：M≈V₁RV₀，其中M表示所述第一单应矩阵，R表示旋转矩阵，且R＝(r_ij)，i，j＝0，1，2，f0为第一焦距，f1为第二焦距，

$V_1=\left[\begin{array}{ccc}{f}_1& 0& 0\\ 0& f_1& 0\\ 0& 0& f_1\end{array}\right],$ $V_0=\left[\begin{array}{ccc}{f}_0& 0& 0\\ 0& f_0& 0\\ 0& 0& f_0\end{array}\right].$

本发明实施例提供一种图像拼接设备，在两个相邻图像中，首先求出第一图像所在平面到第二图像所在平面的单应矩阵，而后通过所述单应矩阵求出所述两个相邻图像所在平面的旋转矩阵和所述相邻图像各自的焦距，进而对所述两个相邻图像进行拼接，能够对某重叠区域很小或者不存在重叠区域的相邻图像进行拼接，并且能够提高拼接的精度。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像拼接方法，其特征在于，包括：

获取第一图像和第二图像，所述第一图像包括参照图样的第一部分，所述第二图像包括所述参照图样的第二部分；

根据所述第一图像中所述参照图样的第一部分的特征点的位置与所述第二图像中所述参照图样的第二部分的特征点的位置获取所述第一图像成像平面到所述第二图像成像平面的第一单应矩阵；

根据所述第一单应矩阵获取所述第一图像的成像平面的第一旋转矩阵和第一焦距以及所述第二图像的成像平面的第二旋转矩阵和第二焦距；

根据所述第一单应矩阵、所述第一旋转矩阵、第一焦距和所述第二旋转矩阵、第二焦距对所述第一图像和所述第二图像进行配准。

2.根据权利要求1所述的方法，其特征在于，根据所述第一图像中所述参照图样的第一部分的特征点的位置与所述第二图像中所述参照图样的第二部分的特征点的位置获取所述第一图像成像平面到所述第二图像成像平面的第一单应矩阵包括：

将所述第一图像中所述参照图样的第一部分的特征点投影到第一平面得到第三图像，根据所述第一图像中所述参照图样的第一部分的特征点的位置与所述第三图像的特征点的位置获取所述第一图像成像平面到所述第一平面的第二单应矩阵；

在所述第一平面上，根据对称性获取与所述第三图像中的特征点轴对称的特征点，获取扩展后的第三图像；

将所述扩展后的第三图像投影到所述第一图像成像平面得到扩展后的第一图像，并根据与所述第三图像中的特征点轴对称的特征点的位置以及所述第二单应矩阵的逆矩阵，获取所述扩展后的第一图像的扩展特征点的位置；

将所述第二图像中所述参照图样的第二部分的特征点投影到第二平面得到第四图像，根据所述第二图像中所述参照图样的第二部分的特征点的位置与所述第四图像的特征点的位置获取所述第二图像成像平面到所述第二平面的第三单应矩阵；

在所述第二平面上，根据对称性获取与所述第四图像中的特征点轴对称的特征点，获取扩展后的第四图像；

将所述扩展后的第四图像投影到所述第二图像成像平面得到扩展后的第二图像，并根据与所述第四图像中的特征点轴对称的特征点的位置以及所述第三单应矩阵的逆矩阵，获取所述扩展后的第二图像的扩展特征点的位置；

根据所述扩展后的第一图像中所述参照图样的第一部分的特征点和所述扩展后的第一图像的扩展特征点的位置，以及所述扩展后的第二图样中所述参照图样的第二部分的特征点、所述扩展后的第二图像的扩展特征点之间的位置，获取所述第一图像成像平面到所述第二图像成像平面的所述第一单应矩阵。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一单应矩阵获取所述第一图像成像平面的第一旋转矩阵和第一焦距以及所述第二图像成像平面的第二旋转矩阵和第二焦距，包括：

根据所述第一单应矩阵利用旋转矩阵公式获取所述第一旋转矩阵和第一焦距以及所述第二图像成像平面的第二旋转矩阵和第二焦距；

所述旋转矩阵公式包括：M≈V₁RV₀，其中M表示所述第一单应矩阵，R表示旋转矩阵，且R＝(r_ij)，i，j＝0，1，2，f0为第一焦距，f1为第二焦距，

$V_1=\left[\begin{array}{ccc}{f}_1& 0& 0\\ 0& f_1& 0\\ 0& 0& f_1\end{array}\right],$ $V_0=\left[\begin{array}{ccc}{f}_0& 0& 0\\ 0& f_0& 0\\ 0& 0& f_0\end{array}\right].$

4.根据权利要求2或3所述的方法，其特征在于，所述第一图像成像平面具有平行于所述第一图像成像平面的第一基线，所述第二图像成像平面具有平行于所述第二图像成像平面的第二基线，所述第一平面平行于所述第一基线，且所述第二平面平行于所述第二基线。

5.根据权利要求1至4任意一项所述的方法，其特征在于，

所述参照图样为在获取所述第一图像和所述第二图像之前预设置在拍摄场景的；或

所述参照图样为在获取所述第一图像和所述第二图像之前所述拍摄场景中已存在的图样。

6.一种图像拼接设备，其特征在于，包括：

图样获取模块，用于获取第一图像和第二图像，所述第一图像包括参照图样的第一部分，所述第二图像包括所述参照图样的第二部分；

空间参数获取模块，用于根据所述第一图像中所述参照图样的第一部分的特征点的位置与所述第二图像中所述参照图样的第二部分的特征点的位置获取所述第一图像成像平面到所述第二图像成像平面的第一单应矩阵；

所述空间参数获取模块还用于根据所述第一单应矩阵获取所述第一图像成像平面的第一旋转矩阵和第一焦距以及所述第二图像成像平面的第二旋转矩阵和第二焦距；

配准模块，用于根据所述第一单应矩阵、所述第一旋转矩阵、第一焦距和所述第二旋转矩阵、第二焦距对所述第一图像和所述第二图像进行配准。

7.根据权利要求6所述设备，其特征在于，所述空间参数获取模块具体用于：

将所述第一图像中所述参照图样的第一部分的特征点投影到第一平面得到第三图像，根据所述第一图像中所述参照图样的第一部分的特征点的位置与所述第三图像的特征点的位置获取所述第一图像成像平面到所述第一平面的第二单应矩阵；

在所述第一平面上，根据对称性获取与所述第三图像中的特征点轴对称的特征点，获取扩展后的第三图像；

将所述扩展后的第三图像投影到所述第一图像成像平面得到扩展后的第一图像，并根据与所述第三图像中的特征点轴对称的特征点的位置以及所述第二单应矩阵的逆矩阵，获取所述扩展后的第一图像的扩展特征点的位置；

将所述第二图像中所述参照图样的第二部分的特征点投影到第二平面得到第四图像，根据所述第二图像中所述参照图样的第二部分的特征点的位置与所述第四图像的特征点的位置获取所述第二图像成像平面到所述第二平面的第三单应矩阵；

在所述第二平面上，根据对称性获取与所述第四图像中的特征点轴对称的特征点，获取扩展后的第四图像；

将所述扩展后的第四图像投影到所述第二图像成像平面得到扩展后的第二图像，并根据与所述第四图像中的特征点轴对称的特征点的位置以及所述第三单应矩阵的逆矩阵，获取所述扩展后的第二图像的扩展特征点的位置；

根据所述扩展后的第一图像中所述参照图样的第一部分的特征点和所述扩展后的第一图像的扩展特征点的位置，以及所述扩展后的第二图样中所述参照图样的第二部分的特征点、所述扩展后的第二图像的扩展特征点之间的位置，获取所述第一图像成像平面到所述第二图像成像平面的所述第一单应矩阵。

8.根据权利要求6或7所述的设备，其特征在于，所述空间参数获取模块还具体用于：

根据所述第一单应矩阵利用旋转矩阵公式获取所述第一旋转矩阵和第一焦距以及所述第二图像成像平面的第二旋转矩阵和第二焦距；

所述旋转矩阵公式包括：M≈V₁RV₀，其中M表示所述第一单应矩阵，R表示旋转矩阵，且R＝(r_ij)，i，j＝0，1，2，f0为第一焦距，f1为第二焦距，

$V_1=\left[\begin{array}{ccc}{f}_1& 0& 0\\ 0& f_1& 0\\ 0& 0& f_1\end{array}\right],$ $V_0=\left[\begin{array}{ccc}{f}_0& 0& 0\\ 0& f_0& 0\\ 0& 0& f_0\end{array}\right].$

9.根据权利要求7或8所述的设备，其特征在于，所述第一图像成像平面具有平行于所述第一图像成像平面的第一基线，所述第二图像成像平面具有平行于所述第二图像成像平面的第二基线，所述第一平面平行于所述第一基线，且所述第二平面平行于所述第二基线。

10.根据权利要求6至9任意一项所述的设备，其特征在于，

所述参照图样为在获取所述第一图像和所述第二图像之前预设置在拍摄场景的；或

所述参照图样为在获取所述第一图像和所述第二图像之前所述拍摄场景中已存在的图样。