CN101710932A - 图像拼接方法及装置 - Google Patents

Abstract

本发明公开了一种图像拼接方法及装置，涉及图像处理技术领域，解决了现有单应性矩阵需要图像间有重叠区域或需要视频序列的问题。本发明实施例首先确定两个场景之间的空间关系参数；并获取分别拍摄所述两个场景的两个相机之间的空间关系参数，以及所述两个相机的内部参数；然后将所述两个场景之间的空间关系参数、相机之间的空间关系参数和相机内部参数进行运算得出所拍摄图像之间的单应性矩阵；根据所述单应性矩阵将所述两个相机拍摄到的图像映射到同一坐标系下拼接成一副图像。本发明实施例主要用于两幅图像之间单应性矩阵的计算，特别是在图像拼接过程中的单应性矩阵的计算中。

Description

图像拼接方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及图像拼接方法及装置。

背景技术

通过反/折射系统、鱼眼透镜等硬件设备能够直接建立无缝广角图像，但由于这些硬件设备是在有限的成像面上捕获尽可能多的信息，导致了建立的无缝广角图像产生严重失真。

通过将数字成像设备可以拍摄到数字格式的图像，将多幅数字图像拼接可以获取一幅视场宽度较大的数字全景图像，并且最终得到的数字全景图像失真较小。图像拼接主要包含以下步骤：图像获取、图像预处理、图像配准、图像再投影以及图像融合。

图像配准是图像拼接中的一个关键步骤，需要找出一个场景在不同视点下形成不同二维图像上的重叠区域，并计算重叠区域上的点到点映射关系，或者对某种感兴趣的特征建立关联。这一映射关系通常被称为“单应性变换”(Homography)，一般以单应性矩阵来表示该映射关系，该映射关系主要表现为平移、旋转、仿射以及投影等形式。

目前图像拼接技术中应用较多的单应性矩阵计算方式如下：

先通过特征点检测得到需要拼接的图像之间重叠的像素点；例如：SIFT(Scale-Invariant Features：尺度不变的特征)特征点检测方法、Harris特征点检测方法、Susan特征点检测方法、立体图像匹配方法、或者其他特征点检测方法等；然后通过线性或者非线性的单应性矩阵估计，计算出表示重叠像素点之间映射关系的单应性矩阵。

在应用上述方案的过程中，本发明的发明人发现：上述基于拼接的图像之间存在较大的重叠区域才能够计算出相应的单应性矩阵，对于没有重叠区域或者只有一列重叠像素的图像不能计算从单应性矩阵，也就无法进行图像拼接。

发明内容

本发明的实施例提供一种图像拼接方法及装置，在两幅图像之间没有重叠区域或者只有一列重叠像素的情况下计算出单应性矩阵或完成图像拼接。

为达到上述目的，本发明的实施例采用如下技术方案：

一种图像拼接方法，包括：

确定两个场景之间的空间关系参数；

获取分别拍摄所述两个场景的两个相机之间的空间关系参数，以及所述两个相机的内部参数；

将所述两个场景之间的空间关系参数、相机之间的空间关系参数和相机内部参数进行运算得出所拍摄图像之间的单应性矩阵；

根据所述单应性矩阵将所述两个相机拍摄到的图像映射到同一坐标系下拼接成一副图像。

一种图像拼接装置，包括：

确定单元，用于确定两个场景之间的空间关系参数；

获取单元，用于获取分别拍摄所述两个场景的两个相机之间的空间关系参数，以及所述两个相机的内部参数；

运算单元，用于将所述两个场景之间的空间关系参数、相机之间的空间关系参数和相机内部参数进行运算得出所拍摄图像之间的单应性矩阵；

映射单元，用于根据所述单应性矩阵将所述两个相机拍摄到的图像映射到同一坐标系下拼接成一副图像。

本发明实施例提供的图像拼接方法及装置，由上述描述可知，本发明实施例在进行单应性矩阵计算的时候并不需要在两幅图像之间存在重叠区域，也不需要利用视频序列，而是直接通过两个场景之间的空间关系参数、相机之间的空间关系参数和相机内部参数就可以计算出单应性矩阵。

通过两个场景之间的空间关系参数、相机之间的空间关系参数和相机内部参数就可以直接计算出单应性矩阵。这样就使得在计算单应性矩阵时不需要图像间有重叠区域，也就是说，本发明实施例在两幅图像之间没有重叠区域或者只有一列重叠像素的情况下计算出单应性矩阵，并利用该单应性矩阵完成图像拼接。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明现有技术中计算单应性矩阵的关系图；

图2为本发明实施例1中计算单应性矩阵的流程图；

图3为本发明实施例1中单应性矩阵计算装置的框图；

图4为本发明实施例1中图像拼接方法的流程图；

图5为本发明实施例1中图像拼接装置的框图；

图6为本发明实施例2中的棋盘格；

图7为本发明实施例2中拼接前第一幅图的示意图；

图8为本发明实施例2中拼接后的图像示意图；

图9为本发明实施例2中拼接后缝线的示意图；

图10为本发明实施例2中对缝线进行融合的示意图；

图11为本发明实施例2中另一幅对缝线进行融合的示意图；

图12为本发明实施例3双目视觉系统中极点和极线的示意图；

图13为本发明实施例5中单应性矩阵计算装置的框图；

图14为本发明实施例5中图像拼接装置的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在进行图像拼接的时候，如果图像之间没有重叠区域或者只有一列重叠像素，可以通过公式s_iHT_i-T′_iH＝0计算出单应性矩阵H，然后利用H进行图像拼接。下面叙述该公式的推导原理：如图1所示，H为表示相邻摄像机所拍摄图像之间映射关系的单应性矩阵，T_i及T_i’为同一摄像机视频序列相邻帧间的变换关系。假设P是3D场景中的一点。P在帧I_i中对应的图像坐标为p_i，在同步帧I_i/中对应的图像坐标为p_i/，在帧I_i+1中对应的图像坐标为p_i+1，在I_i+1/中对应的图像坐标为p_i+1/。

则有：

$\left\{\begin{array}{c}{p}_{i+1}\≅T_i{p}_i\\ {p^{\text{'}}}_{i+1}\≅{T^{\text{'}}}_i{p^{\text{'}}}_i\end{array}\right.$

又因为两个摄像机视频序列有固定的单应性矩阵变换关系，故而有：

$\left\{\begin{array}{c}{p}_i^{/}\≅H{p}_i\\ p_{i+1}^{/}\≅H{p}_{i+1}\⇒H{T}_i{p}_i\≅H{p}_{i+1}\≅p_{i+1}^{/}\≅{T^{\text{'}}}_i{p}_i^{/}\≅{T^{\text{'}}}_{i}H{p}_i\⇒H{T}_i\≅{T^{\text{'}}}_{i}H\end{array}\right..$

因为H非可逆，故而可以推导出T′_i＝s_iHT_iH^-1

由高等代数特征值关系可知：

eig(T′_i)＝eig(s_iHI_iH^-1)＝eig(s_iT_i)＝s_ieig(T_i)，从而可以求出s。

又因为T_i和T′_i容易求出，故而可由公式s_iHT_i-T′_iH＝0求出H。

上述计算方式仅仅是其中一种单应性矩阵的计算方式，以便进行图像拼接。在对没有重叠区域或者只有一列重叠像素的图像进行拼接时，还可以采用其他方式。

实施例1：

假若两个相机分别对两个场景进行拍摄，以获得这两个场景的图像；或者一个相机对两个场景分别进行拍摄已获得这两个场景的图像，为了将获取的两个场景拼接到一起，需要计算两个图像之间的单应性矩阵，本发明实施例1提供一种相机间单应性矩阵计算方法，如图2所示，该方法包括：

201、确定两个场景之间的空间关系参数，该空间关系参数可以通过一个函数表示，假设：其中一个场景用P₁，另一个场景P₂，则该空间关系参数可以通过P₂＝f(P₁)来表示；

202、获取分别拍摄所述两个场景的两个相机之间的空间关系参数，以及所述两个相机的内部参数；其中空间关系参数也称为外部参数，用来表示相机在空间的位置关系；内部参数由相机本身的几何和光学特性构成，如：主点坐标放大倍数等等。下面详细介绍一下内部参数和外部参数的概念：

将相机的内部参数用矩阵K表示，具体如下：

$K=\left[\begin{array}{ccc}{k}_u& s& p_u\\ 0& k_v& p_v\\ 0& 0& 1\end{array}\right],$

其中：k_u是图像u方向(横向)以象素为单位的放大倍数，k_v是图像v方向(纵向)以象素为单位的放大倍数，并且k_u和k_v与摄像机的焦距有密切的联系；s是相应于相机坐标轴扭曲的畸变因子；p_u、p_v是以象素为单位的主点的坐标。

在摄像机的感光阵列中包含的是正方形象素的情况下，即：k_u＝k_v，若s＝0，则k_u和k_v即是以象素为单位的摄像机焦距。若感光阵列中包含的是非正方形象素，比如：CCD(电荷耦合)摄像机，则k_u是焦距f与u方向象素的大小的比值，k_v是焦距f与v方向象素的大小的比值。

外部参数包括旋转矩阵和平移向量，其中旋转矩阵R是三个轴向的、摄像机坐标系相对于世界坐标的3×3阶旋转向量，平移向量t是摄像机坐标系相对于世界坐标系的1×3阶平移向量。

本发明实施例中假设K，K′分别为左、右摄像机内部参数矩阵，[I 0]，[R t]分别为左、右摄像机的外部参数(综合起来可以表示相机之间的空间关系)，并且[R t]为右摄像机相对于左摄像机的旋转矩阵和平移向量。

203、将所述两个场景之间的空间关系参数、相机之间的空间关系参数和相机内部参数进行运算得出所拍摄图像之间的单应性矩阵。所述两个场景对应图像的单应性矩阵计算推导如下：

假设P₁、P₂，在各自对应的图像坐标各为p₁、p₂，同时假设两个摄像机所拍摄图像间的单应性矩阵变换均为H，则有：

$\left\{\begin{array}{c}{s}_1{p}_1=K_1\left[\begin{array}{cc}I& 0\end{array}\right]P_1\\ s_2{p}_2=K_2\left[\begin{array}{cc}R& t\end{array}\right]P_2\end{array}\right.,$ 其中s₁、s₂表示尺度因子。

且有： $p_2=H{p}_1$

$\⇒s_2{p}_2=K_2\left[\begin{array}{cc}R& t\end{array}\right]f\left(P_1\right)=K_2\left[\begin{array}{cc}R& t\end{array}\right]f\left(K_1^{-1}{s}_1{p}_1\right)$

$\⇒s_{2}H{p}_1=K_2\left[\begin{array}{cc}R& t\end{array}\right]f\left(P_1\right)=K_2\left[\begin{array}{cc}R& t\end{array}\right]f\left(K_1^{-1}{s}_1{p}_1\right),$ 若函数f是线性的，则又有：

$\⇒s_{2}H{p}_1=K_2\left[\begin{array}{cc}R& t\end{array}\right]f\left(P_1\right)=K_2\left[\begin{array}{cc}R& t\end{array}\right]a{K}_1^{-1}{s}_1{p}_1,$ 其中a是一个常数，

$\⇒s_{2}h{p}_1={a{s}_{1}K}_2\left[\begin{array}{cc}R& t\end{array}\right]{K_1^{-1}P}_1$

则有： $H\≅K_2\left[\begin{array}{cc}R& t\end{array}\right]K_1^{-1},$

上述推导过程仅仅是基于函数f是线性的情况，在函数f发生变化时依然能够推导出H的计算公式，并且计算公式中包括两个场景之间的空间关系参数、相机之间的空间关系参数和相机内部参数；故而，通过两个场景之间的空间关系参数、相机之间的空间关系参数和相机内部参数进行运算能够得出所拍摄图像之间的单应性矩阵。

本发明实施例还提供一种相机间单应性矩阵计算装置，如图3所示，该装置包括：确定单元31、获取单元32、运算单元33。

其中，确定单元31用于确定两个场景之间的空间关系参数，该空间关系参数可以通过一个函数表示，具体见对图2的描述；获取单元32用于获取分别拍摄所述两个场景的两个相机之间的空间关系参数，以及所述两个相机的内部参数，其中空间关系参数也称为外部参数，用来表示相机在空间之间的位置关系；内部参数由相机本身的几何和光学特性；运算单元33用于将所述两个场景之间的空间关系参数、相机之间的空间关系参数和相机内部参数进行运算得出所拍摄图像之间的单应性矩阵。

本发明实施例还提供一种图像拼接方法，如图4所示，该方法的401过程、402过程、403过程与图2中的201过程、202过程、203过程均相同，在执行完上述过程后可以得到所拍摄的两幅图像之间的单应性矩阵。

本发明实施例图像拼接方法还包括如下过程：

404、根据所述单应性矩阵将所述两个相机拍摄到的图像映射到同一坐标系下拼接成一副图像，其中，这里所指的同一坐标系可以为世界坐标系或其中一幅图像所对应的坐标系，或者其他任何一个坐标系。在图像上的像素都映射到同一个坐标系后，在该坐标系上将出现两幅图像的所有像素，这样就完成了图像的初步拼接。

本发明实施例还提供一种图像拼接装置，如图5所示，该装置包括：确定单元51、获取单元52、运算单元53、映射单元54。其中，确定单元51、获取单元52、运算单元53和图3中的确定单元31、获取单元32、运算单元33功能完全相同，只是增加了一个映射单元，具体功能如下：

确定单元51用于确定两个场景之间的空间关系参数，该空间关系参数可以通过一个函数表示，具体见对图2的描述；获取单元52用于获取分别拍摄所述两个场景的两个相机之间的空间关系参数，以及所述两个相机的内部参数，其中空间关系参数也称为外部参数，用来表示相机在空间之间的位置关系；内部参数由相机本身的几何和光学特性；运算单元53用于将所述两个场景之间的空间关系参数、相机之间的空间关系参数和相机内部参数进行运算得出所拍摄图像之间的单应性矩阵；映射单元54用于根据所述单应性矩阵将所述两个相机拍摄到的图像映射到同一坐标系下拼接成一副图像。

由上述实施例的描述可以知道，通过两个场景之间的空间关系参数、相机之间的空间关系参数和相机内部参数就可以直接计算出单应性矩阵。这样就使得在计算单应性矩阵时既不需要图像间有重叠区域，也不需要视频序列，也就是说，本发明实施例在不需要视频序列、并且两幅图像之间没有重叠区域或者只有一列重叠像素的情况下计算出单应性矩阵，并利用该单应性矩阵完成图像拼接。

实施例2：

下面以拍摄大棋盘格的图像为例说明本发明实施例的应用，首先，制作如图6所示的大棋盘格，该大棋盘格内有两个用线1和线2围成的待拍摄区域，这两个待拍摄区域的大小可以根据实际需要进行调整。上述棋盘格中黑格子或白格子一般是已知大小的正方形或长方形，由于棋盘的中格子的大小已知，故而可以知道或者求解两个待拍摄区域的三维空间的位置关系(即：两个场景之间的空间关系参数)，也就是说任选待拍摄区域内的任意一对格子，他们之间的相对位置关系是已知的或可求的。

其次，用左右两个相机同步拍摄所对应的待拍摄区域内的棋盘格，其中两个相机以不同角度、位置摆放，拍摄各自所对应的那块棋盘格。

然后，标定所述两个相机的内部参数和外部参数，一般可以采用Tsai两步法、张正友棋盘格法标定内外参数。在实施标定时，可以建立模板3D空间角点位置对应关系，可参考如下建立：

左摄像机拍摄到的是左边的待拍摄区域，右摄像机拍摄到的是右边的待拍摄区域。我们可以按照Tsai法或张正友棋盘格标定法设定左红框模板各个角点的3D空间坐标位置，设置完毕后，右边红框内的各个角点的3D空间坐标位置参考棋盘格间距来设定。如设定点(3，3)的3D空间坐标为(20毫米、20毫米，10毫米)，则(3，14)点的3D空间坐标可设为(130毫米，20毫米，10毫米)，因为这两点共面，其在二维坐标间有确定度量关系。

假设K，K′分别为左、右摄像机内部参数矩阵，[I 0]，[R t]分别为左、右摄像机的外部参数(综合起来可以表示相机之间的空间关系)，并且[R t]为右摄像机相对于左摄像机的旋转矩阵和平移向量。

假设P₁、P₂，在各自对应的图像坐标各为p₁、p₂，同时假设两个摄像机所拍摄图像间的单应性矩阵变换均为H，则有：

$\left\{\begin{array}{c}{s}_1{p}_1=K_1\left[\begin{array}{cc}I& 0\end{array}\right]P_1\\ s_2{p}_2=K_2\left[\begin{array}{cc}R& t\end{array}\right]P_2\end{array}\right.,$ 其中s₁、s₂表示尺度因子。

且有： $p_2=H{p}_1$

$\⇒s_2{p}_2=K_2\left[\begin{array}{cc}R& t\end{array}\right]f\left(P_1\right)=K_2\left[\begin{array}{cc}R& t\end{array}\right]f\left(K_1^{-1}{s}_1{p}_1\right)$

$\⇒s_{2}H{p}_1=K_2\left[\begin{array}{cc}R& t\end{array}\right]f\left(P_1\right)=K_2\left[\begin{array}{cc}R& t\end{array}\right]f\left(K_1^{-1}{s}_1{p}_1\right),$ 若函数f是线性的，则又有：

$\⇒s_{2}H{p}_1=K_2\left[\begin{array}{cc}R& t\end{array}\right]f\left(P_1\right)=K_2\left[\begin{array}{cc}R& t\end{array}\right]a{K}_1^{-1}{s}_1{p}_1,$ 其中a是一个常数，

$\⇒s_{2}h{p}_1={a{s}_{1}K}_2\left[\begin{array}{cc}R& t\end{array}\right]{K_1^{-1}P}_1$

则有： $H\≅K_2\left[\begin{array}{cc}R& t\end{array}\right]K_1^{-1},$ 其中

表示等式两边相差一个尺度因子。可以将H规范化，使得要求使得det(H)＝1，易知 $\mathrm{\α}=\sqrt[3]{1/\det \left(H\right)},$ 从而H变换到具有单位行列式值，变为HH，

$\mathrm{HH}=\sqrt[3]{1/\det \left(H\right)}\·H$

至此，我们利用大棋盘格来计算出两个摄像机所拍摄图像间的单应性矩阵。进而，我们可以利用该图像间的变换关系进行图像拼接，特别是对于无重叠区图像或是重叠区少的图像间的图像拼接，如：只有一列重叠像素的两个图像就属于重叠区少的情况。实际上，利用本发明实施例计算出的单应性矩阵还可以用到其他的图像处理过程中，并不限于本发明实施例所提供的图像拼接应用中。

上面推导过程中，R、t分别是三维空间世界坐标系与摄像机坐标系之间的旋转矩阵和平移向量。若相机坐标系在世界坐标系下的方向：绕X轴逆时针旋转角度(α)，绕Y轴逆时针旋转角度(β)，绕Z轴逆时针旋转角度(γ)，则旋转矩阵为：

$R=R_{\mathrm{\α}}{R}_{\mathrm{\β}}{R}_{\mathrm{\γ}}=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{12}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right],$

其中：

$R_{\mathrm{\α}}=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\α}& \sin \mathrm{\α}\\ 0& -\sin & \cos \mathrm{\α}\end{array}\right],$

$R_{\mathrm{\β}}=\left[\begin{array}{ccc}\cos \mathrm{\β}& 0& -\sin \mathrm{\β}\\ 0& 1& 0\\ \sin \mathrm{\β}& 0& \cos \mathrm{\β}\end{array}\right],$

$R_{\mathrm{\γ}}=\left[\begin{array}{ccc}\cos \mathrm{\γ}& \sin \mathrm{\γ}& 0\\ -\sin \mathrm{\γ}& \cos \mathrm{\γ}& 0\\ 0& 0& 1\end{array}\right],$

而 $t=\left(\begin{array}{c}{T}_x\\ T_y\\ T_z\end{array}\right),$ 其中T_x，T_y，Y_z为从世界坐标系到相机坐标系变换的沿三个坐标轴的平移量(旋转之后)。

如果将本实施例中找到了图像间的变换关系，我们就可以对图像进行配准对齐，把两幅图像映射到同一个坐标系下(如：平面坐标系、柱面坐标系、球面坐标系)，在本发明中使用的是柱面坐标，该坐标系也可以是其中一幅图像本身的坐标系。

如图7和图8所示，把图7中ABED上的每一个像素点经过柱面坐标变换到图8所示的A’B’E’D’，然后利用所求到的单应性矩阵变换关系将第二幅图经柱面坐标变换逐一映射每一个像素点到柱面，这一步就完成了图像的配准或对齐。

完成图像的配准和对齐就是将两幅图像拼接到了一起。若完成配准和对齐后的图像间颜色差异非常小，则可以不做颜色融合，直接拼接对齐生成全景或宽景图。但是，由于不同时刻的图像采样，光强都有差异，因此在图像拼接的边界处都会有明显的缝隙。为了使得拼接后的图像效果更好，本发明实施例还可以对拼接后的图像进行那个颜色融合，图像颜色融合就是要消除图像光强或色彩的不连续性，它的主要思想是让图像在拼接处的光强平滑过渡以消除光强的突变。颜色融合可采取的方法有：中值滤波器、加权平均法、多分辨率样条法或者是Possion方程等公知技术。

具体实施时，颜色融合方法可采用但不限于如下方法：

首先需要找到拼接后的缝线，假设拼接后产生的缝线如图9所示，pi表示拼接的第一幅图某颜色值，qi表示拼接的第二幅图象素点某对应颜色值，假设图9中的p0＝8，p1＝7，p2＝6，p3＝5；q0＝0，q1＝1，q2＝2，q3＝3。

缝线两边的象素点为p0和q0。颜色差值iDelta＝abs(p0-q0)＝8。颜色差均值iDeltaAver＝abs((p0-q0)/2)＝4。则缝线两边需要更新的象素点个数为iDeltaAver个，即缝线左右两边需要更新的象素点分别为：p0，p1，p2，p3；q0，q1，q2，q3。

如图10所示，对图9中缝线两边象素点颜色值更新方式是：由于缝线左边颜色值大于右边，故采取缝线往左边象素点颜色值渐次增大，即：p0的颜色值更新为原始p0值加上负的iDeltaAver，p1的颜色值更新为原始p1值加上负的(iDeltaAver-1)，p2的颜色值更新为原始p2值加上负的(iDeltaAver-2)，p3的颜色值更新为原始p3值加上负的(iDeltaAver-3)；缝线往右边像素点颜色值渐次降低，即：q0的颜色值更新为原始q0值加上正的iDeltaAver，q1的颜色值更新为原始q1值加上正的(iDeltaAver-1)，q2的颜色值更新为原始q2值加上正的(iDeltaAver-2)，q3的颜色值更新为原始q3值加上正的(iDeltaAver-3)。

当然，如果缝线两侧的颜色差均值较大，则表示需要进行像素颜色更新的点就较多，具体如图11所示，假设拼接后产生的缝线如图11所示，点pi表示拼接的第一幅图某颜色值，点qi表示拼接的第二幅图象素点某对应颜色值，p0＝255，p1＝253，p2＝250，p3＝254；q0＝0，q1＝5，q2＝4，q3＝6。

缝线两边的象素点为p0和q0。颜色差值iDelta＝abs(p0-q0)＝255。颜色差均值为iDeltaAver＝abs((p0-q0)/2)＝127。则缝线两边需要更新的象素点个数左边为iDeltaAver+1和右边为iDeltaAver个，即缝线左右两边需要更新的象素点分别为：p0，p1，p2，p3，...，p128；q0，q1，q2，q3，...，q127。

对图11中缝线两边象素点颜色值更新方式为：由于缝线左边颜色值大于右边，故采取缝线往左边象素点颜色值渐次增大，即：p0的颜色值更新为原始p0值加上负的iDeltaAver，p1的颜色值更新为原始p1值加上负的(iDeltaAver-1)，p2的颜色值更新为原始p2值加上负的(iDeltaAver-2)，p3的颜色值更新为原始p3值加上负的(iDeltaAver-3)，依次类推；缝线往右边像素点颜色值渐次降低，即：q0的颜色值更新为原始q0值加上正的iDeltaAver，q1的颜色值更新为原始q1值加上正的(iDeltaAver-1)，q2的颜色值更新为原始q2值加上正的(iDeltaAver-2)，q3的颜色值更新为原始q3值加上正的(iDeltaAver-3)，依次类推。

为了颜色融合更加合理，对于缝线两边颜色差值算法也可以采取缝线两边多个象素点颜色差值的平均作为缝线两边颜色差值。更进一步，将颜色差值的平均的一半作为缝线两边需要更新象素点的个数。例如：缝线确定后，左边p点可取p0，p1，...，pi-1共i个象素点，求和求平均；同样q点也一样求和求平均；把这两个平均值作差，就是缝线两边颜色差值，后继处理方式通例子1和2。

由上述实施例的描述可以知道，通过两个场景之间的空间关系参数、相机之间的空间关系参数和相机内部参数就可以直接计算出单应性矩阵。这样就使得在计算单应性矩阵时既不需要图像间有重叠区域，也不需要视频序列，也就是说，本发明实施例在不需要视频序列、并且两幅图像之间没有重叠区域或者只有一列重叠像素的情况下计算出单应性矩阵，并利用该单应性矩阵完成图像拼接。

实施例3：

在本实施例中，假设P₁、P₂为两个场景中的两点，且两个场景之间的空间位置关系为：P₂＝f(P₁)＝P₁+b，并且假设K，K′分别为左、右摄像机内部参数矩阵，[R₁ t₁]，[R₂ t₂]分别为左、右摄像机的外部参数(综合起来可以表示相机之间的空间关系)，并且[R t]为右摄像机相对于左摄像机的旋转矩阵和平移向量。

假设P₁、P₂，在各自对应的图像坐标各为p₁、p₂，则有：P₁、P₂在摄像机坐标系下对应点为P_c1、P_c2，则有：

$\left\{\begin{array}{c}{P}_1=R_1{P}_{c1}+t_1\\ P_2=R_2{P}_{c2}+t_2\end{array}\right.$

由于摄像机间的相对位置关系是不变的，故而H也是不变的，

则有：P₂＝R₂P_c2+t₂＝R₁P_c1+t₁+_b，从而 $\⇒R_2{s}_2{P}_{c2}+t_2=R_1{s}_1{P}_{c1}+t_1+b,$ 其中s₁、s₂表示Pc₁、Pc₂的深度。

令：

则有 $\⇒s_1{l}_1+s_2{l}_2=t$ 去除位置深度s₁、s₂，且有：

$l_1^T(t\×l_2)=0$

故而有：

$P_{c1}{R}_1^T{[t_2-t_1-b]}_x{R}_1{P}_{c2}=0$

且因为有：

或 $p_1^{T}F{p}_2=0,$ 其中F为基本矩阵。

则：

$p_1^T{K}_1^{-1}{R}_1^T{[t_2-t_1-b]}_x{R}_1{K}_2^{-1}{p}_2=0$

故：

$F=K_1^{-1}{R}_1^T{[t_1-t_2-b]}_x{R}_1{K}_2^{-1},$ [ ]_X表示叉积矩阵。

具体的叉积矩阵概念如下，假如向量a＝(a₁ a₂ a₃)，则其对应的叉积矩阵为： ${\left[a\right]}_x=\left(\begin{array}{ccc}0& -a_3& a_2\\ a_3& 0& -a_1\\ -a_2& a_1& 0\end{array}\right),$ 则对应任意的向量b，有a×b＝[a]_×b。

根据上述基本矩阵F按照如下公式可以求出所拍摄的图像序列的极点e和e′： $\left\{\begin{array}{c}{F}_e=0\\ F^T{e}^{\text{'}}=0\end{array}\right.,$ 假设两个摄像机所拍摄图像间的单应性矩阵变换均为H，则可以有

将H中的元素用h_i表示，其中h_i(i＝1...9整数)是3x3矩阵H的每个位置的元素，从左到右，从上到下数，则公式

对应的具体表示为： ${\left(e_i^{/}\right)}_x=\frac{\left[\begin{array}{ccc}{h}_1& h_2& h_3\end{array}\right]e_i}{\left[\begin{array}{ccc}{h}_7& h_8& h_9\end{array}\right]e_i},$ ${\left(e_i^{/}\right)}_y=\frac{\left[\begin{array}{ccc}{h}_4& h_5& h_6\end{array}\right]e_i}{\left[\begin{array}{ccc}{h}_7& h_8& h_9\end{array}\right]e_i}---\left(1\right)$

然后将公式(1)代入

得到如下公式：

${\left[\begin{array}{ccc}{e}_i^T& \stackrel{\→}{0^T}& {\left(e_i^{/}\right)}_x{e}_i^T\\ \stackrel{\→}{0^T}& e_i^T& {\left(e_i^{/}\right)}_y{e}_i^T\end{array}\right]}_{2\×9}\stackrel{\→}{h}=0,$ 其中

为H的列向量。根据 ${\left[\begin{array}{ccc}{e}_i^T& \stackrel{\→}{0^T}& {\left(e_i^{/}\right)}_x{e}_i^T\\ \stackrel{\→}{0^T}& e_i^T& {\left(e_i^{/}\right)}_y{e}_i^T\end{array}\right]}_{2\×9}\stackrel{\→}{h}=0$ 进行迭代优化求解，求解方程组，由于e为已知数据，故而可以求出H的每个列向量进而得到单应性矩阵H。

上述的极点和基本矩阵关系的推导过程如下：

在双目视觉系统中，一般需要两个摄像机。如图12所示，是由两个摄像机组成的立体视觉系统模型，其中(o，o′)为摄像机的光心，点M为空间中某一点，m’和m’分别是左右摄像机对空间点M所拍摄的图像。直线oo′与图像平面R，R′交于两点e，e′，称之为极点，两个图像中过极点的线称之为极线。

在摄像机坐标系中，存在着如下极线约束：在第一个图像平面中的任一点，其在另一个图像平面内的对应点一定落在它的极线上。对于点m，存在和极线l′的对射关系。根据左右摄像机的投影方程和极线原理可得：

$\left\{\begin{array}{c}m\≈P_l^E\left[\begin{array}{c}X\\ 1\end{array}\right]\\ m^{\text{'}}\≈P_r^E\left[\begin{array}{c}X\\ 1\end{array}\right]\end{array}\right.\⇒\left\{\begin{array}{c}m\≈\mathrm{KX}\\ m^{\text{'}\≈K^{\text{'}}(\mathrm{RX}+T)}\end{array}\right.\⇒\left\{\begin{array}{c}{\left(m^{\text{'}}\right)}^T\mathrm{Fm}=0\\ F=K^{\text{'}-T}{\left[T\right]}_{x}R{K}^{-1}\end{array}\right.$

F为基本矩阵，其秩为2，F在相差一个常数因子下是唯一确定的。F可以通过8对图像对应点线性确定。[T]_×为T的反对称矩阵。

从而可以推导出外极线和基本矩阵的关系为： $\left\{\begin{array}{c}{I}^{\text{'}}=\mathrm{Fm}\\ I=F^T{m}^{\text{'}}\end{array}\right.$

外极点和基本矩阵的关系为： $\left\{\begin{array}{c}\mathrm{Fe}=0\\ F^T{e}^{\text{'}}=0\end{array}\right.$

至此，我们计算出两个摄像机所拍摄图像间的单应性矩阵。进而，我们可以利用该图像间的变换关系进行图像拼接，特别是对于无重叠区图像或是重叠区少的图像间的图像拼接，如：只有一列重叠像素的两个图像就属于重叠区少的情况，具体的图像拼接过程可以采用但不限于实施例1中所描述的方法。实际上，利用本发明实施例计算出的单应性矩阵还可以用到其他的图像处理过程中，并不限于本发明实施例所提供的图像拼接应用中。

由上述实施例的描述可以知道，通过两个场景之间的空间关系参数、相机之间的空间关系参数和相机内部参数就可以直接计算出单应性矩阵。这样就使得在计算单应性矩阵时既不需要图像间有重叠区域，也不需要视频序列，也就是说，本发明实施例在不需要视频序列、并且两幅图像之间没有重叠区域或者只有一列重叠像素的情况下计算出单应性矩阵，并利用该单应性矩阵完成图像拼接。

实施例4：

上述实施例2中将两个场景之间的空间位置关系限定为线性的，而在实施例3中则限定为线性加一个偏置，实际上，可以将P₂＝f(P₁)中函数关系设定为更为复杂的关系，无论其函数关系如何，都可以通过实施例2或者实施例3中的方法推导出一个H的求解方法，并且该H与P₂＝f(P₁)中函数关系、以及摄像机的内外部参数有关，其中道理同实施例2和3。关键点是要利用三维空间点的已知或可求解的位置关系，来推导左右摄像机或图像间的对应映射关系(用单应性矩阵H表示)。进一步的，可以利用计算出的H进行图像拼接等操作。

在上述实施例2和实施例3中均预先设定了所述两个场景之间的空间关系参数；但实际上，对于较为复杂的场景，还可以通过但不限于如下方式确定两个场景之间的空间关系参数、以及相机的内外参数：

第一、通过深度摄像机获取所述两个场景之间的空间关系参数；同时通过各自摄像机所拍摄的图像建立起各自的3D空间点与图像点间的一一对应关系，进而可以利用已有的各种标定法标定出各自摄像机的各自的内外参，进而利用实施例2、3中所述的方法求解单应性矩阵，并利用单应性矩阵来配准和对齐图像，进而把两幅图像拼接成宽景图像。

第二、通过跨过两个场景的具有明显连续特征信息的物体确定所述两个场景之间的空间关系参数；对于无重叠区或重叠区很小的图像间的拼接，可以利用跨图像区域的长木条等其他的有明显连续特征信息的物体作为参考，通过检测并匹配这些特征信息，进而获取图像间的位置变换关系，进行图像拼接。

例如：在一个已知尺寸的细钢条两端各自绑定一个已知结构的相同物体。这样就可以建立这两个物体自身各个特征点对应关系，也就知道了这两个物体的3D空间几何位置关系，同时通过各自摄像机所拍摄的图像建立起各自的3D空间点与图像点间的一一对应关系，进而利用实施例2、3中所述的方法求解单应性矩阵，并利用单应性矩阵来配准和对齐图像，进而把两幅图像拼接成宽景图像。

第三、通过自标定法确定所述两个场景之间的空间关系参数，获取相机的内外参数，具体实现过程如下：

1、将两摄像机共光心固定在3D空间中的同一位置，通过旋转到不同的方向来拍摄同一场景的图像，在拍摄图像序列的过程中，保持摄像机的内部参数K不变，即摄像机不改变焦距等内参。设拍摄到的图像序列包含图像0、图像1......图像N-1，共包含N幅图像(N≥3)。有如下的自标定步骤，用来求解摄像机的内参矩阵K及特征点的3D空间坐标。

2、使用SIFT特征点提取方法提取每幅图像的特征点，并使用有关的匹配方法建立各图像的特征点的对应关系。

3、对除图像0的每一幅其它图像，计算将图像0变换到图像J的2D投影变换P_j。

4、将步骤2获得的N-1个P_j分别变换到具有单位行列式值。

5、寻找一个上三角矩阵K，使得K^-1P_jK＝R_j是一个旋转矩阵(j＝1，2...N-1)。矩阵K即是摄像机的内参标定矩阵，R_j表示图像J相对于图像0的旋转矩阵，N-1个方程可以求出K和R_j，也就是说通过该方法已经确定了相机的内部参数和旋转矩阵，由于两摄像机共光心固定在3D世界空间的同一位置，故而可以已知平移向量为0。

6、由于摄像机的内部参数和外部参数都已经确定，则可以利用如下公式求解两个场景的世界坐标： $\left\{\begin{array}{c}{s}_1{p}_1=k_1\left[\begin{array}{cc}I& 0\end{array}\right]P_1\\ s_2{p}_2=k_2\left[\begin{array}{cc}R& t\end{array}\right]P_2\end{array}\right.;$ 通过这两个场景的世界坐标可以得出这两个场景的三维位置关系。

本发明实施例除了可以采用实施例1中的方式进行图像拼接，也可以采用但不限于如下方法进行图像拼接中的颜色融合：

第一、在采用上述第二种方法获取两个场景之间的空间关系参数时，如果具有明显连续特征信息的物体是灰度格图像测试板，具体而言就是将固定灰度格图像测试板于两摄像机前段某一个固定位置，使得两摄像机均能够拍摄到测试板的一部分，并且两摄像机处于同等测试环境中。左摄像机拍摄测试板的左半部分，右摄像机拍摄测试板右半部分，获得两幅原始图像，由于两台摄像机存在一些客观差异，导致将原始图像拼接到一起后在中间有个明显的缝隙存在；为了淡化该缝隙，本实施例中读取缝隙左右两侧的11个灰度格的三通道颜色值，可通将每个灰度格的颜色平均值作为该灰度格的颜色值，或者将滤波去噪后的均值作为该灰度格的颜色值；然后把11个灰度格的各个三通道颜色灰度值进行加权平均，每个灰度格的平均值作为左右灰度格校正后图像标准颜色值；并把左右灰度格各通道颜色值匹配到校正后的标准颜色值，再利用该匹配后的颜色值插值颜色，将灰度级扩大到255个灰度级，进而生成左右图像颜色查找表；最后将上述算法应用于原始图像拼接成的整幅图像的缝隙处，最终生成校正后的图像。采用该颜色融合能够使得校正后的图像中间的缝隙很大程度上得到减轻，甚至消失。

当然，上述采用的灰度格图像测试板可以改成彩色方格图像测试板，并采用上述相同的方法进行颜色融合，最后颜色融合的效果更好。

为了方便使用，可以用黑白棋盘格代替灰度格图像测试板，或者用彩色棋盘格代替彩色方格图像测试板。

第二、考虑到基于多灰度格使用不方便，可利用特征点检测与匹配方法来生成两摄像机间的多灰度级的匹配，进而得到左右图像颜色查找表，然后将该算法应用于原始图像拼接成的整幅图像的缝隙处，最终生成校正后的图像。

实施例5：

本发明实施例还提供一种相机间单应性矩阵计算装置，如图13所示，该装置包括：确定单元131、获取单元132、运算单元133。

确定单元131用于确定两个场景之间的空间关系参数，该空间关系参数可以通过一个函数表示；确定单元的实现可以采用实施例4中所举的方法，例如：该确定单元131可以预先设定所述两个场景之间的空间关系参数，或通过深度摄像机获取所述两个场景之间的空间关系参数，或通过跨过两个场景的具有明显连续特征信息的物体确定所述两个场景之间的空间关系参数，或通过自标定法确定所述两个场景之间的空间关系参数。获取单元132用于获取分别拍摄所述两个场景的两个相机之间的空间关系参数，以及所述两个相机的内部参数，该获取单元132通过自标定法获取所述两个相机之间的空间关系参数，以及所述两个相机的内部参数；一般来讲，所述两个相机之间的空间关系参数包括：所述两个相机相对于世界坐标系的旋转矩阵和平移向量，用来表示相机在空间之间的位置关系；内部参数由相机本身的几何和光学特性；运算单元133用于将所述两个场景之间的空间关系参数、相机之间的空间关系参数和相机内部参数进行运算得出所拍摄图像之间的单应性矩阵。

对于实施例2中两个场景之间的空间关系参数为线性，且将其中一个相机的坐标系作为世界坐标系的情况而言，所述运算单元133按照如下方式进行所述运算： $H=a\·K\left[\begin{array}{cc}R& t\end{array}\right]K_1^{-1};$ 其中，H为所述单应性矩阵、α为尺度因子、K₁ ^-1为其中一个相机内部参数的逆矩阵、K₂为另一个相机的内部参数、R为该另一个相机相对于世界坐标系的旋转矩阵、t为该另一个相机相对于世界坐标系的平移向量。

对于实施例3中两个场景之间的空间关系参数为线性加偏移量的情况，所述运算单元133包括：第一计算模块1331、第二计算模块1332和第三计算模块1333。其中，第一计算模块1331用于将所述两个场景之间的空间关系参数、相机之间的空间关系参数和相机内部参数进行运算得出基本矩阵F；计算公式为： $F=K_1^{-1}{R}_1^T{[t_1-t_2-b]}_x{R}_1{K}_2^{-1},$ F为基本矩阵、K₂ ^-1为其中一个相机内部参数的逆矩阵、t₂为其该相机相对于世界坐标系的平移向量、b为所述偏移量；K₁ ^-1为另一个相机内部参数的逆矩阵、R₁为该另一个相机相对于世界坐标系的旋转矩阵、R₁ ^T为R₁的转置、t₁为该另一个相机相对于世界坐标系的平移向量、[ ]_X表示叉积矩阵；所述第二计算模块1332用于利用基本矩阵计算和外极点的关系计算出外极点，基本矩阵计算和外极点的关系为： $\left\{\begin{array}{c}\mathrm{Fe}=0\\ F^T{e}^{\text{'}}=0\end{array}\right.,$ 其中e为其中一幅图像的外极点，e′为另一幅图像的外极点；所述第三计算模块1333用于根据e′_i＝He_i计算出单应性矩阵H，其中i表示同步帧的帧号。

本实施例中找到了图像间的变换关系，我们就可以对图像进行配准对齐，把两幅图像映射到同一个坐标系下(如：平面坐标系、柱面坐标系、球面坐标系)，在本发明中使用的是柱面坐标，该坐标系也可以是其中一幅图像本身的坐标系。

本发明实施例还提供一种图像拼接装置，如图14所示，该图像拼接装置包括：确定单元141、获取单元142、运算单元143、映射单元144。

其中，确定单元141、获取单元142、运算单元143和图13中的确定单元131、获取单元132、运算单元133功能完全相同，只是增加了一个映射单元144，具体功能如下：映射单元144用于根据所述单应性矩阵将所述两个相机拍摄到的图像映射到同一坐标系下拼接成一副图像。

完成图像的配准和对齐就是将两幅图像拼接到了一起。若完成配准和对齐后的图像间颜色差异非常小，则可以不做颜色融合，直接拼接对齐生成全景或宽景图。但是，由于不同时刻的图像采样，光强都有差异，因此在图像拼接的边界处都会有明显的缝隙。为了使得拼接后的图像效果更好，本发明实施例图像拼接装置还包括融合单元145，用于对拼接好的图像进行颜色融合，具体的融合可以参考但不限于实施例2中所描述的实现方式。

为了实现实施例2中的融合方式，本发明实施例中的融合单元145包括：计算模块1451和更新模块1452。其中，计算模块1451用于计算拼接后图像上拼接缝线两侧像素点的颜色差均值；更新模块1452用于按照颜色差均值递减的方式增加颜色值较小的缝线一侧的颜色值；并按照颜色差均值递减的方式较小颜色值较大的缝线一侧的颜色值，具体的更新过程见实施例2中的描述。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

本发明实施例主要用于两幅图像之间单应性矩阵的计算，特别是在图像拼接过程中的单应性矩阵的计算中。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (16)

1.一种图像拼接方法，其特征在于，包括：

确定两个场景之间的空间关系参数；

获取分别拍摄所述两个场景的两个相机之间的空间关系参数，以及所述两个相机的内部参数；

将所述两个场景之间的空间关系参数、相机之间的空间关系参数和相机内部参数进行运算得出所拍摄图像之间的单应性矩阵；

根据所述单应性矩阵将所述两个相机拍摄到的图像映射到同一坐标系下拼接成一副图像。

2.根据权利要求1所述的图像拼接方法，其特征在于，所述两个相机之间的空间关系参数包括：所述两个相机相对于世界坐标系的旋转矩阵和平移向量。

3.根据权利要求2所述的图像拼接方法，其特征在于，当所述两个场景之间的空间关系参数为线性，且将其中一个相机的坐标系作为世界坐标系时，则按照如下方式进行所述运算得到单应性矩阵： $H=a\·K_2\left[\begin{array}{cc}R& t\end{array}\right]K_1^{-1};$

其中，H为所述单应性矩阵、a为尺度因子、K₁ ^-1为其中一个相机内部参数的逆矩阵、K₂为另一个相机的内部参数、R为该另一个相机相对于世界坐标系的旋转矩阵、t为该另一个相机相对于世界坐标系的平移向量。

4.根据权利要求2所述的图像拼接方法，其特征在于，当所述两个场景之间的空间关系参数为线性加偏移量时，所述运算得出单应性矩阵的过程包括：

将所述两个场景之间的空间关系参数、相机之间的空间关系参数和相机内部参数进行运算得出基本矩阵F；

利用基本矩阵计算和外极点的关系计算出外极点，基本矩阵计算和外极点的关系为： $\left\{\begin{array}{c}\mathrm{Fe}=0\\ F^T{e}^{\′}=0\end{array}\right.,$ 其中e为其中一幅图像的外极点，e′为另一幅图像的外极点；

根据 $e_i^{\′}={\mathrm{He}}_i$ 计算出单应性矩阵H，其中i表示同步帧的帧号。

5.根据权利要求4所述的图像拼接方法，其特征在于，所述基本矩阵按照如下方式进行运算而获得： $F=K_1^{-1}{R}_1^T{[t_2-t_1-b]}_X{R}_1{K}_2^{-1};$

其中，F为所述基本矩阵、K₂ ^-1为其中一个相机内部参数的逆矩阵、t₂为其该相机相对于世界坐标系的平移向量、b为所述偏移量；K₁ ^-1为另一个相机内部参数的逆矩阵、R₁为该另一个相机相对于世界坐标系的旋转矩阵、R₁ ^T为R₁的转置、t₁为该另一个相机相对于世界坐标系的平移向量、[]_X表示叉积矩阵。

6.根据权利要求1至5中任意一项所述的图像拼接方法，其特征在于，所述确定两个场景之间的空间关系参数为：

预先设定所述两个场景之间的空间关系参数；或者

通过深度摄像机确定所述两个场景之间的空间关系参数；或者

通过跨过两个场景的具有明显连续特征信息的物体确定所述两个场景之间的空间关系参数；或者

通过自标定法确定所述两个场景之间的空间关系参数。

7.根据权利要求1至5中任意一项所述的图像拼接方法，其特征在于，通过自标定法获取所述两个相机之间的空间关系参数，以及所述两个相机的内部参数。

8.根据权利要求1至5中任意一项所述的图像拼接方法，其特征在于，所述方法还包括：对拼接好的图像进行颜色融合。

9.一种图像拼接装置，其特征在于，包括：

确定单元，用于确定两个场景之间的空间关系参数；

获取单元，用于获取分别拍摄所述两个场景的两个相机之间的空间关系参数，以及所述两个相机的内部参数；

运算单元，用于将所述两个场景之间的空间关系参数、相机之间的空间关系参数和相机内部参数进行运算得出所拍摄图像之间的单应性矩阵；

映射单元，用于根据所述单应性矩阵将所述两个相机拍摄到的图像映射到同一坐标系下拼接成一副图像。

10.根据权利要求9所述的图像拼接装置，其特征在于，所述确定单元所确定的两个相机之间的空间关系参数具体包括：所述两个相机相对于世界坐标系的旋转矩阵和平移向量。

11.根据权利要求10所述的图像拼接装置，其特征在于，当所述两个场景之间的空间关系参数为线性，且将其中一个相机的坐标系作为世界坐标系时，则所述运算单元按照如下方式进行所述运算： $H=a\·K_2\left[\begin{array}{cc}R& t\end{array}\right]K_1^{-1};$

其中，H为所述单应性矩阵、a为尺度因子、K₁ ^-1为其中一个相机内部参数的逆矩阵、K₂为另一个相机的内部参数、R为该另一个相机相对于世界坐标系的旋转矩阵、t为该另一个相机相对于世界坐标系的平移向量。

12.根据权利要求10所述的图像拼接装置，其特征在于，当所述两个场景之间的空间关系参数为线性加偏移量时，所述运算单元包括：

第一计算模块，用于将所述两个场景之间的空间关系参数、相机之间的空间关系参数和相机内部参数进行运算得出基本矩阵F；

第二计算模块，用于利用基本矩阵计算和外极点的关系计算出外极点，基本矩阵计算和外极点的关系为： $\left\{\begin{array}{c}\mathrm{Fe}=0\\ F^T{e}^{\′}=0\end{array}\right.,$ 其中e为其中一幅图像的外极点，e′为另一幅图像的外极点；

第三计算模块，用于根据 $e_i^{\′}={\mathrm{He}}_i$ 计算出单应性矩阵H，其中i表示同步帧的帧号。

13.根据权利要求12所述的图像拼接装置，其特征在于，所述第一计算模块按照如下方式进行所述运算： $F=K_1^{-1}{R}_1^T{[t_2-t_1-b]}_X{R}_1{K}_2^{-1};$

其中，F为所述基本矩阵、K₂ ^-1为其中一个相机内部参数的逆矩阵、t₂为其该相机相对于世界坐标系的平移向量、b为所述偏移量；K₁ ^-1为另一个相机内部参数的逆矩阵、R₁为该另一个相机相对于世界坐标系的旋转矩阵、R₁ ^T为R₁的转置、t₁为该另一个相机相对于世界坐标系的平移向量、[]_X表示叉积矩阵。

14.根据权利要求9至13中任意一项所述的图像拼接装置，其特征在于，所述确定单元预先设定所述两个场景之间的空间关系参数；或者

所述确定单元通过深度摄像机获取所述两个场景之间的空间关系参数；或者

所述确定单元通过跨过两个场景的具有明显连续特征信息的物体确定所述两个场景之间的空间关系参数；

所述确定单元通过自标定法确定所述两个场景之间的空间关系参数。

15.根据权利要求9至13中任意一项所述的图像拼接装置，其特征在于，所述获取单元通过自标定法获取所述两个相机之间的空间关系参数，以及所述两个相机的内部参数。

16.根据权利要求9至13中任意一项所述的图像拼接装置，其特征在于，所述装置还包括：融合单元，用于对拼接好的图像进行颜色融合。

Images