CN108765292A - 基于空间三角面片拟合的图像拼接方法 - Google Patents

Abstract

本发明提出一种基于空间三角面片拟合的鱼眼图像拼接方法。该方法通过对被拍摄场景结构的面片化近似处理，将被拍摄场景近似为一系列空间面片的组合，并在相机坐标系的单位球面上逐面片地求解3参数的平面投影变换，突破了8参数局部透视变换无法处理的鱼眼图像中视差的局限性，实现了鱼眼图像的精确配准与拼接。在计算效率方面，达到了比现有的基于匹配数据加权的局部变换模型更低的计算复杂度，能够满足更多实际应用的需求。

Description

基于空间三角面片拟合的图像拼接方法

技术领域

本发明属于图像信息处理领域，涉及图像拼接方法，尤其涉及基于空间三角面片拟合的鱼眼图像拼接方法。

背景技术

全景图像因其远大于人眼的视场角，在监控、侦查、影视制作以及虚拟现实等领域具有巨大应用价值。拼接式全景成像兼具大视场角和高分辨率的优点，正逐渐成为主流的全景图像采集方式。计算机硬件能力的不断提高和并行计算技术的快速发展也为多路图像甚至视频数据的快速处理提供了有利的现实条件。在计算机视觉和图像处理理论与技术的发展过程中，关于图像拼接技术的创新受到越来越广泛的关注。

图像拼接的目的是以尽可能小的计算代价输出高质量的全景图像。在多幅图像的拍摄过程中，相机的拍摄角度和位置的变化会导致图像之间出现结构偏差，即同一物体在不同图像中呈现出形状或位置上的差异。在场景深度未知的情况下，得到各路图像之间的精确投影关系是困难的。

在过去几十年中，一系列基于不同数学理论的图像拼接方法被提出。其中，传统的全局方法通常使用全局变换将所有输入图像投影到统一的观察平面，目前主流的图像拼接软件通常基于这一方案实现。若相机的光心保持不动或被拍摄场景是近似平面的，全局变换能够得到令人满意的结果；但若图像间存在明显的视差，全局变换的结果就会导致所得全景图像中出现纹理的模糊、重影或断裂等问题。

为消除视差对拼接质量的影响，研究者们提出了一系列局部自适应的图像变换方案，取代单一的全局变换，以达到更高的配准精度。但现有的基于局部透视变换的方法无法有效处理非透视投影的输入图像(比如鱼眼图像)中的视差，且存在模型不够稳定、计算效率无法满足实际应用需求等问题。

发明内容

本发明提出一种基于空间三角面片拟合的鱼眼图像拼接方法。将被拍摄场景近似为一系列空间面片的组合，并在相机坐标系内的单位球面上逐面片地求解3参数的平面投影变换。所提方法能够突破8参数局部透视变换无法处理的非透视投影输入图像(比如鱼眼图像)中视差的局限性，实现鱼眼图像的精确配准与拼接。与现有的基于匹配数据加权的局部变换模型相比，所提方法具有更低的计算复杂度，因此能够达到更高的计算效率。

具体地，本发明采用的技术方案是：

一种基于空间三角面片拟合的鱼眼图像拼接方法，其特征在于包括以下步骤：

S1.对有重叠区域的两幅输入图像进行特征提取与匹配，得到图像间的匹配特征点；

S2.在S1中得到的匹配特征点基础上，通过最小化关于相机参数的代价函数，得到一组近似的相机参数；

S3.利用S2中得到的相机参数，通过两步RANSAC，剔除S1中得到匹配点中的误匹配点；

S4.在S3中得到的正确匹配特征点基础上，对相机坐标系下的单位球面进行三角划分；

S5.在S2中得到的相机参数与S4中得到的三角划分基础上，求解每一个空间三角面片的参数；

S6.在S5中得到的三角面片参数基础上，逐面片地渲染得到精确配准的重投影图像；

S7.在S6中得到的重投影图像基础上，通过图像融合得到最终的全景图像。

优选地，所述步骤S2的具体方法包括：

用于拍摄图像I与I′的鱼眼相机分别为C与C′；I中的图像点x＝(u,v,1)^T与C的相机坐标系下单位球面上的空间点z＝(x,y,z)^T之间的投影关系可表示为

x＝Kθ

其中，)，θ＝(θx/r,θy/r,1)^T，θ＝arccos(z)，将上述变换表示为x＝κ(z)，类似地，I′中的图像点x′＝(u′,v′,1)^T与C′的相机坐标系下单位球面上的空间点z′＝(x′,y′,z′)T之间的投影关系表示为x′＝κ′(z′)，其中κ(·)与κ′(·)为可逆非线性函数；

鱼眼图像间的极线约束表示如下：

z′^TQz＝0

其中，Q为基本矩阵，且Q＝[t]_×R，其中R与t分别为C与C′的相机坐标系间的旋转矩阵与平移向量；除此之外，增加关于全局投影的二级约束：

z′～Rz

其中，～表示正比关系；对于一对匹配点{x,x′}，需最小化的代价函数为：

E(x,x′)＝h(r_e,σ_e)+λh(r_p,σ_p)

其中，系数λ用于控制r_p的影响，取为λ＝0.01，函数h(·)为具有误匹配抑制能力的Huber误差函数：

参数σ_e与σ_p分别表示极线约束与全局投影约束下正常误差的上限，残差二者的度量单位均为像素，z＝κ^-1(x)，z′＝κ′^-1(x′)，其中K′为相机C′的内参数矩阵；在r_e的表达式中，记(a,b,c)^T＝Qz，则标准化参数其中f′_x与f′_y分别为相机C′在x，y方向上的等效焦距；在r_p的表达式中，系数w＝r₃ ^Ty，其中r₃ ^T为R的第三行。

对于所有匹配点{x_i,x′_i}，以及它们对应的残差r_e,i与r_p,i，i＝1,…,n，总的代价函数为：

注意到E^all是关于残差r_e与r_p的二次函数，因此E^all的最小化可通过LM迭代实现，所得结果是一组真实相机参数的近似值；其中K，K′为内参数，R，t为外参数。

优选地，所述步骤S3的具体方法包括：

两步RANSAC，包括：

第一步以图像间的极线约束作为RANSAC的目标函数，最小化

其中，z_i＝κ^-1(x_i)，z′_i＝κ′^-1(x′_i)。

第二步以全局平面变换模型作为目标函数，最小化

取两次筛选后所得匹配数据的交集用于建立图像间的局部配准模型。

优选地，所述步骤S4的具体方法包括：

给定剔除误匹配之后的匹配点{x_i,x′_i|i＝1,…,n}，n表示正确匹配点的数量，以z_i＝κ^-1(x_i)，i＝1,…,n为顶点，单位球面上的三角划分等价于求空间点集{z_i|i＝1,…,n}的凸包，所得球面三角形代表空间三角面片在C的相机坐标系内单位球面上的投影；为保持空间三角面片模型的一致性，对于C′的相机坐标系下的顶点z′_i＝κ′^-1(x′_i)，i＝1,…,n，适用与z_i相一致的三角划分；

优选地，所述步骤S5的具体方法包括：

鱼眼图像I与I′内一对匹配点x与x′是同一空间点P在不同两相机成像平面上的投影。x与x′之间的变换关系表示为

其中，m为描述P所在空间三角面片的平面参数，其自由度为3；在已估计得到相机参数的情况下，m是x与x′的变换关系中唯一的未知量，记z＝κ^-1(x)，z′＝κ′^-1(x′)，则投影关系简化为

z′～(R+tm^T)z

根据上式，向量z′与(R+tm^T)z平行，则

z′×(R+tm^T)z＝0_3×1

根据点积和向量积对加法的分配率，有

-z′×(Ry)＝(z′×t)(m^Tz)

m^Tz是一个标量，上式为一个关于m^Tz的过约束线性方程组，最小二乘意义上求解可得

上式确定了关于m的一个线性约束，该约束可表示为

两单位球面上的一对三角形ΔABC与ΔA′B′C′是同一个空间三角面片的投影；根据三对匹配的顶点{z_A,z′_A}，{z_B,z′_B}，{z_C,z′_C}确立三个关于m的线性约束；记

其中，i∈{A,B,C}；则三对匹配点确定的线性约束可写为

Am＝1_3×1

其中，A＝(a_A ^T,a_B ^T,a_C ^T)^T；上式的约束个数与未知数个数均为3，可求得该空间三角面片的参数m_Δ。

优选地，所述步骤S6的具体方法包括：

判断单位投影平面上一点P是否在球面三角形ABC内部；记球心为O，在同侧半球面上，判断点P是否在球面三角形ABC内等价于判断OP连线与平面ABC的交点P′是否在平面三角形ABC内；点P′的空间位置满足且由可得得出

tz_P-u(z_B-z_A)-v(z_C-z_A)＝z_A

其中，z_P，z_A，z_B，z_C分别为点P，A，B，C在单位球面上的坐标。求解上式得到位置参数t，u与v，则点P是球面三角形ABC内点的充要条件为0≤t≤1，0≤u，0≤v且u+v≤1；

对于每个空间三角形，首先计算该三角形三个顶点在图像平面的投影点，并据此构建图像平面上当前空间三角形投影的矩形包围盒；然后标记包围盒内位于空间三角形投影内部的像素点；最后计算这些像素点上的映射并将其添加到用于图像重投影的映射表中。

根据所得映射表对输入图像进行重投影，得到精确配准后的重投影图像。

优选地，所述步骤S7的具体方法包括：

在观察平面上对重投影图像进行基于图像金字塔的多尺度融合，得到最终的全景图像。

本发明所述方法通过对被拍摄场景结构的面片化近似处理，提出一种基于空间三角面片拟合的鱼眼图像拼接方法。该方法将被拍摄场景近似为一系列空间面片的组合，并在相机坐标系的单位球面上逐面片地求解3参数的平面投影变换，突破了8参数局部透视变换无法处理的鱼眼图像中视差的局限性，实现了鱼眼图像的精确配准与拼接。在计算效率方面，达到了比现有的基于匹配数据加权的局部变换模型更低的计算复杂度，能够满足更多实际应用的需求。

附图说明：

图1为根据本发明实施方式的总体流程图。

图2为根据本发明实施方式的输入图像。

图3为根据本发明实施方式的球面三角划分结果图像。

图4为根据本发明实施方式的球面三角形内点判断示意图。

图5为根据本发明实施方式的空间面片在全景图像中的投影图像。

具体实施方式

下面将结合附图和实例对本发明的具体实施方式作进一步的详细说明。

本发明所述方法通过对被拍摄场景结构的面片化近似处理，提出一种基于空间三角面片拟合的鱼眼图像拼接方法。首先，利用图像间的点匹配结果，通过最小化关于相机参数的代价函数，得到一组近似的相机参数；然后，通过两步RANSAC，剔除误匹配点；然后，对相机坐标系下的单位球面进行三角划分，并求解每一个空间面片的参数；最后，逐面片地渲染得到精确配准的重投影图像，并在观察平面上融合得到最终的全景图像。总体流程图如图1所示。

本发明提供的基于空间三角面片拟合的鱼眼图像拼接方法通过以下步骤实现：

S1.对有重叠区域的两幅输入图像进行特征提取与匹配，得到图像间的匹配特征点；

对于如图2所示输入图像I与I′，使用SIFT特征算法进行特征点的检测与匹配，得到图像间的一系列匹配点{x_i,x′_i|i＝1,…,n}，其中n为所得匹配点对的数量。

S2.在S1中得到的匹配特征点基础上，通过最小化关于相机参数的代价函数，得到一组近似的相机参数；

记用于拍摄图像I与I′的鱼眼相机分别为C与C′。I中的图像点x＝(u,v,1)^T与C的相机坐标系下单位球面上的空间点z＝(x,y,z)^T 之间的投影关系可表示为

x＝Kθ

其中，θ＝(θx/r,θy/r,1)^T，θ＝arccos(z)。简明起见，记上述变换为x＝κ(z)，类似地，I′中的图像点x′＝(u′,v′,1)^T与C′的相机坐标系下单位球面上的空间点z′＝(x′,y′,z′)^T之间的投影关系可表示为x′＝κ′(z′)，其中κ(·)与κ′(·)为可逆非线性函数。

由于鱼眼图像的成像模型是非线性的，图像之间的极线约束不再可由基本矩阵直接描述。注意到不同相机坐标系下空间点之间的变换不受相机成像模型影响，因此鱼眼图像间的极线约束可表示如下：

z′^TQz＝0

其中，Q为基本矩阵，且Q＝[t]_×R，其中R与t分别为C与C′的相机坐标系间的旋转矩阵与平移向量。除此之外，增加关于全局投影的二级约束：

z′～Rz

其中，～表示正比关系。则对于一对匹配点{x,x′}，需最小化的代价函数为：

E(x,x′)＝h(r_e,σ_e)+λh(r_p,σ_p)

其中，系数λ用于控制r_p的影响，取为λ＝0.01，函数h(·)为具有误匹配抑制能力的Huber误差函数：

参数σ_e与σ_p分别表示极线约束与全局投影约束下正常误差的上限，残差二者的度量单位均为像素，z＝κ^-1(x)，z′＝κ′^-1(x′)，其中K′为相机C′的内参数矩阵。在r_e的表达式中，记(a,b,c)^T＝Qz，则标准化参数其中f′_x与f′_y分别为相机C′在x，y方向上的等效焦距。在r_p的表达式中，系数w＝r₃ ^Ty，其中r₃ ^T为R的第三行。

对于所有匹配点{x_i,x′_i}，以及它们对应的残差r_e,i与r_p,i，i＝1,…,n，总的代价函数为：

注意到E^all是关于残差r_e与r_p的二次函数，因此E^all的最小化可通过LM迭代实现，所得结果是一组真实相机参数(内参数K，K′以及外参数R，t)的近似值。

S3.利用S2中得到的相机参数，通过两步RANSAC，剔除S1中得到匹配点中的误匹配点；

空间三角面片拟合的基础是图像间正确的点匹配关系，而误匹配的出现是不可避免的。因此，在图像配准之前需要首先进行误匹配的剔除。这一过程通过两步RANSAC实现：

第一步以图像间的极线约束作为RANSAC的目标函数，即最小化

其中，z_i＝κ^-1(x_i)，z′_i＝κ′^-1(x′_i)。

第二步以全局平面变换模型作为目标函数，即最小化

取两次筛选后所得匹配数据的交集用于建立图像间的局部配准模型。

S4.在S3中得到的正确匹配特征点基础上，对相机坐标系下的单位球面进行三角划分；

现实场景可近似地看作由大量不同方向和位置的空间面片拼合而成，本发明采用三角面片对场景进行拟合。

对于鱼眼图像的拼接，由于透视投影会在单位投影平面上造成透视畸变，在单位投影球面上进行三角划分是更好的选择。给定剔除误匹配之后的匹配点{x_i,x′_i|i＝1,…,n}(此时n表示正确匹配点的数量)，以z_i＝κ^-1(x_i)，i＝1,…,n为顶点，单位球面上的三角划分等价于求空间点集{z_i|i＝1,…,n}的凸包，所得球面三角形代表空间三角面片在C的相机坐标系内单位球面上的投影。为保持空间三角面片模型的一致性，对于C′的相机坐标系下的顶点z′_i＝κ′^-1(x′_i)，i＝1,…,n，适用与z_i相一致的三角划分。对于图2中的输入图像，其球面三角划分的结果如图3所示。

S5.在S2中得到的相机参数与S4中得到的三角划分基础上，求解每一个空间三角面片的参数；

鱼眼图像I与I′内一对匹配点x与x′是同一空间点P在不同两相机成像平面上的投影。x与x′之间的变换关系可表示为

其中，m为描述P所在空间三角面片的平面参数，其自由度为3。上式是非线性的，其形式远比普通图像的透视变换复杂，因此，现有的建立在透视投影模型基础上的一系列方法不再适用。在已估计得到相机参数的情况下，m是x与x′的变换关系中唯一的未知量。记z＝κ^-1(x)，z′＝κ′^-1(x′)，则投影关系简化为

z′～(R+tm^T)z

根据上式，向量z′与(R+tm^T)z平行，则

z′×(R+tm^T)z＝0_3×1

根据点积和向量积对加法的分配率，有

-z′×(Ry)＝(z′×t)(m^Tz)

注意到m^Tz是一个标量，上式为一个关于m^Tz的过约束线性方程组，最小二乘意义上求解可得

上式确定了关于m的一个线性约束，该约束可表示为

两单位球面上的一对三角形ΔABC与ΔA′B′C′是同一个空间三角面片的投影。则根据三对匹配的顶点{z_A,z′_A}，{z_B,z′_B}，{z_C,z′_C}能够确立三个关于m的线性约束。具体地，记

其中，i∈{A,B,C}。则三对匹配点确定的线性约束可写为

Am＝1_3×1

其中，A＝(a_A ^T,a_B ^T,a_C ^T)^T。上式的约束个数与未知数个数均为3，可求得唯一解，即该空间三角面片的参数m_Δ。

S6.在S5中得到的三角面片参数基础上，逐面片地渲染得到精确配准的重投影图像；

在已知面片参数的基础上，为由输入图像渲染得到精确配准的重投影图像，还需建立图像点与各空间面片间的归属关系，即判断单位投影平面上一点P是否在球面三角形ABC内部。记球心为O，如图4所示，在同侧半球面上，判断点P是否在球面三角形ABC内等价于判断OP连线与平面ABC的交点P′是否在平面三角形ABC内。点P′的空间位置满足且则由可得即

tz_P-u(z_B-z_A)-v(z_C-z_A)＝z_A

其中，z_P，z_A，z_B，z_C分别为点P，A，B，C在单位球面上的坐标。求解上式得到位置参数t，u与v，则点P是球面三角形ABC内点的充要条件为0≤t≤1，0≤u，0≤v且u+v≤1。球面三角划分所得空间面片在全景图像中的投影如图5所示，球面三角形所对应的图像区域并非严格的三角形。若直接在图像平面进行三角划分，可能导致空间面片之间不连续，进而造成图像内容的断裂。在三维空间进行三角划分则不存在这一问题。

具体实现时，对于每个空间三角形，首先计算该三角形三个顶点在图像平面的投影点，并据此构建图像平面上当前空间三角形投影的矩形包围盒；然后标记包围盒内位于空间三角形投影内部的像素点；最后计算这些像素点上的映射并将其添加到用于图像重投影的映射表中。

根据所得映射表对输入图像进行重投影，得到精确配准后的重投影图像。

S7.在S6中得到的重投影图像基础上，通过图像融合得到最终的全景图像。

在观察平面上对重投影图像进行基于图像金字塔的多尺度融合，得到最终的全景图像。

以上所述，仅为本发明示例性的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种基于空间三角面片拟合的鱼眼图像拼接方法，其特征在于包括以下步骤：

S1.对有重叠区域的两幅输入图像进行特征提取与匹配，得到图像间的匹配特征点；

S2.在S1中得到的匹配特征点基础上，通过最小化关于相机参数的代价函数，得到一组近似的相机参数；

S3.利用S2中得到的相机参数，通过两步RANSAC，剔除S1中得到匹配点中的误匹配点；

S4.在S3中得到的正确匹配特征点基础上，对相机坐标系下的单位球面进行三角划分；

S5.在S2中得到的相机参数与S4中得到的三角划分基础上，求解每一个空间三角面片的参数；

S6.在S5中得到的三角面片参数基础上，逐面片地渲染得到精确配准的重投影图像；

S7.在S6中得到的重投影图像基础上，通过图像融合得到最终的全景图像。

2.根据权利要求1所述的基于空间三角面片拟合的鱼眼图像拼接方法，其特征在于：所述步骤S2的具体方法包括：

用于拍摄图像I与I′的鱼眼相机分别为C与C′；I中的图像点x＝(u,v,1)^T与C的相机坐标系下单位球面上的空间点z＝(x,y,z)^T之间的投影关系可表示为

x＝Kθ

其中，θ＝(θx/r,θy/r,1)^T，θ＝arccos(z)，将上述变换表示为x＝κ(z)，类似地，I′中的图像点x′＝(u′,v′,1)^T与C′的相机坐标系下单位球面上的空间点z′＝(x′,y′,z′)^T之间的投影关系表示为x′＝κ′(z′)，其中κ(·)与κ′(·)为可逆非线性函数；

鱼眼图像间的极线约束表示如下：

z′^TQz＝0

其中，Q为基本矩阵，且Q＝[t]_×R，其中R与t分别为C与C′的相机坐标系间的旋转矩阵与平移向量；除此之外，增加关于全局投影的二级约束：

z′～Rz

其中，～表示正比关系；对于一对匹配点{x,x′}，需最小化的代价函数为：

E(x,x′)＝h(r_e,σ_e)+λh(r_p,σ_p)

其中，系数λ用于控制r_p的影响，取为λ＝0.01，函数h(·)为具有误匹配抑制能力的Huber误差函数：

参数σ_e与σ_p分别表示极线约束与全局投影约束下正常误差的上限，残差者的度量单位均为像素，z＝κ^-1(x)，z′＝κ′^-1(x′)，其中K′为相机C′的内参数矩阵；在r_e的表达式中，记(a,b,c)^T＝Qz，则标准化参数其中f′_x与f′_y分别为相机C′在x，y方向上的等效焦距；在r_p的表达式中，系数w＝r₃ ^Ty，其中r₃ ^T为R的第三行。

对于所有匹配点{x_i,x′_i}，以及它们对应的残差r_e,i与r_p,i，i＝1,…,n，总的代价函数为：

注意到E^all是关于残差r_e与r_p的二次函数，因此E^all的最小化可通过LM迭代实现，所得结果是一组真实相机参数的近似值；其中K，K′为内参数，R，t为外参数。

3.根据权利要求1所述的基于空间三角面片拟合的鱼眼图像拼接方法，其特征在于：所述步骤S3的具体方法包括：

两步RANSAC，包括：

第一步以图像间的极线约束作为RANSAC的目标函数，最小化

其中，z_i＝κ^-1(x_i)，z′_i＝κ′^-1(x′_i)。

第二步以全局平面变换模型作为目标函数，最小化

取两次筛选后所得匹配数据的交集用于建立图像间的局部配准模型。

4.根据权利要求1所述的基于空间三角面片拟合的鱼眼图像拼接方法，其特征在于：所述步骤S4的具体方法包括：

给定剔除误匹配之后的匹配点{x_i,x′_i|i＝1,…,n}，n表示正确匹配点的数量，以z_i＝κ^-1(x_i)，i＝1,…,n为顶点，单位球面上的三角划分等价于求空间点集{z_i|i＝1,…,n}的凸包，所得球面三角形代表空间三角面片在C的相机坐标系内单位球面上的投影；为保持空间三角面片模型的一致性，对于C′的相机坐标系下的顶点z′_i＝κ′^-1(x′_i)，i＝1,…,n，适用与z_i相一致的三角划分。

5.根据权利要求1所述的基于空间三角面片拟合的鱼眼图像拼接方法，其特征在于：所述步骤S5的具体方法包括：

鱼眼图像I与I′内一对匹配点x与x′是同一空间点P在不同两相机成像平面上的投影。x与x′之间的变换关系表示为

其中，m为描述P所在空间三角面片的平面参数，其自由度为3；在已估计得到相机参数的情况下，m是x与x′的变换关系中唯一的未知量，记z＝κ^-1(x)，z′＝κ′^-1(x′)，则投影关系简化为

z′～(R+tm^T)z

根据上式，向量z′与(R+tm^T)z平行，则

z′×(R+tm^T)z＝0_3×1

根据点积和向量积对加法的分配率，有

-z′×(Ry)＝(z′×t)(m^Tz)

m^Tz是一个标量，上式为一个关于m^Tz的过约束线性方程组，最小二乘意义上求解可得

上式确定了关于m的一个线性约束，该约束可表示为

两单位球面上的一对三角形ΔABC与ΔA′B′C′是同一个空间三角面片的投影；根据三对匹配的顶点{z_A,z′_A}，{z_B,z′_B}，{z_C,z′_C}确立三个关于m的线性约束；记

其中，i∈{A,B,C}；则三对匹配点确定的线性约束可写为

Am＝1_3×1

其中，A＝(a_A ^T,a_B ^T,a_C ^T)^T；上式的约束个数与未知数个数均为3，可求得该空间三角面片的参数m_Δ。

6.根据权利要求1所述的基于空间三角面片拟合的鱼眼图像拼接方法，其特征在于：所述步骤S6的具体方法包括：

判断单位投影平面上一点P是否在球面三角形ABC内部；记球心为O，在同侧半球面上，判断点P是否在球面三角形ABC内等价于判断OP连线与平面ABC的交点P′是否在平面三角形ABC内；点P′的空间位置满足且由可得得出

tz_P-u(z_B-z_A)-v(z_C-z_A)＝z_A

其中，z_P，z_A，z_B，z_C分别为点P，A，B，C在单位球面上的坐标。求解上式得到位置参数t，u与v，则点P是球面三角形ABC内点的充要条件为0≤t≤1，0≤u，0≤v且u+v≤1；

对于每个空间三角形，首先计算该三角形三个顶点在图像平面的投影点，并据此构建图像平面上当前空间三角形投影的矩形包围盒；然后标记包围盒内位于空间三角形投影内部的像素点；最后计算这些像素点上的映射并将其添加到用于图像重投影的映射表中。

根据所得映射表对输入图像进行重投影，得到精确配准后的重投影图像。

7.根据权利要求1所述的基于空间三角面片拟合的鱼眼图像拼接方法，其特征在于：所述步骤S7的具体方法包括：

在观察平面上对重投影图像进行基于图像金字塔的多尺度融合，得到最终的全景图像。