CN113469886A - 一种基于三维重构的图像拼接方法 - Google Patents

Abstract

本发明公开了一种基于三维重构的图像拼接方法，包括以下步骤：S1：利用摄像机采集两张待拼接图片，分别为左待拼接图片P1和右待拼接图片P2，并分别提取左待拼接图片P1和右待拼接图片P2的特征点；S2：对两张待拼接图片的特征点进行特征匹配，得到匹配特征点对；S3：确定两个摄像机之间的位姿变换矩阵；S4：利用三角化方法计算每个特征点对对应的空间三维位置；S5：获取每个特征点对对应的空间三维位置的深度Z，并在目标图片对应的像素空间上进行插值；S6：根据深度构建映射关系，并根据映射关系进行图像拼接。本发明完全充分利用了相机位姿变换矩阵，不是简单地将其化为单应变换，更接近景物真实的射影变换。

Description

一种基于三维重构的图像拼接方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于三维重构的图像拼接方法。

背景技术

图像拼接是一个研究较充分的课题，但对于视差较大以及图片深度信息变化不一致的图像进行拼接仍然是一个难点仍然困难重重。完全基于单应的方法：早期的方法只使用一个单应矩阵来对齐两幅图像。这些方法可以产生良好的拼接效果如果图像是从相同的视角拍摄的，或者场景大致是平面的情况。然而，当视差出现时，单应假设就很容易被违背。虽然先进的合成方法(如多波段混合，缝切割)可以在一定程度上缓解重影问题特别是当视差很大时。另外也有使用了双单应性模型对图像进行拼接，得到了良好的效果时，场景可以大致由两个主要平面建模，但该方法也只能解决局限的问题。空间变化扭曲：空间变化扭曲方法应用来处理图像视差，该方法用尽可能投影的方式，将图片分割为很多小格，对每一个小格运用单应矩阵，然后小格与小格之间运用插值得到平滑的变换。对于小视差图像可以非常有效的生成视觉合理的结果。但对于视差较大的图像来说，这仍然是一项非常困难的任务。形状保持方法：形状保持方法主要针对根据特定的对齐模型生成自然外观的拼接结果，该方法提出了一种保持形状的半透视(SPHP)扭曲从重叠区域的投影变换中顺利过渡转化为非重叠区域的相似变换，后者旨在抵消产从一个奇怪的透视视点产生的不自然视角(如过度倾斜)。该方法仍然不能解决场景稍微复杂一点的情形。

因此，急需要提出一种基于三维重构的图像拼接方法，解决现有的方法不能处理视差较大的图像拼接问题，满足重叠区域尽可能少的重影现象。

发明内容

本发明的目的是为了解决图像拼接准确的问题，提出了一种基于三维重构的图像拼接方法。

本发明的技术方案是：一种基于三维重构的图像拼接方法包括以下步骤：

S1：利用摄像机采集两张待拼接图片，分别为左待拼接图片P1和右待拼接图片P2，并分别提取左待拼接图片P1和右待拼接图片P2的特征点；

S2：对两张待拼接图片的特征点进行特征匹配，得到匹配特征点对；

S3：根据各个匹配特征点对，确定两个摄像机之间的位姿变换矩阵；

S4：根据两个摄像机之间的位姿变换矩阵，利用三角化方法计算每个特征点对对应的空间三维位置；

S5：获取每个特征点对对应的空间三维位置的深度Z，并在目标图片对应的像素空间上进行插值；

S6：根据两个摄像机之间的位姿变换矩阵和空间三维位置对应的深度Z，构建映射关系，并根据映射关系进行图像拼接。

进一步地，步骤S2包括以下子步骤：

S21：将两张待拼接图片中对应特征点的相似度距离最大值和次大值分别作为最近匹配点对相似度距离和次近匹配点对相似度距离；

S22：逐个剔除两张待拼接图片中对应特征点的最近匹配点对相似度距离与次近匹配点对相似度距离的比值大于0.7的特征点；

S23：逐个剔除两张待拼接图片中相似度距离大于最小相似度距离5倍所对应的特征点，将剩余的特征点作为匹配特征点对，完成特征匹配。

进一步地，步骤S3包括以下子步骤：

S31：将世界坐标系中左待拼接图片P1对应的摄像机作为像素坐标系的原点，其外参表达式为M＝[I|0]_3×4，其中，I表示3×3的单位矩阵；

S32：将匹配特征点对中两个摄像机对应的像素坐标均左乘各自的内参逆矩阵K^-1，得到对应的归一化相机坐标p和p'；

S33：根据两个摄像机的归一化相机坐标p和p'与像素坐标系的原点，利用八点法计算两个摄像机之间在像素坐标系中的位姿变换矩阵。

进一步地，步骤S4中，每个特征点对对应的空间三维位置的计算公式为：

其中，P₁表示世界坐标转换到左图像素坐标的变换矩阵第1行的行向量，P₂表示世界坐转换到左图像素坐标的变换矩阵第2行的行向量，P₃表示世界坐标转换到左图像素坐标的变换矩阵第3行的行向量，P₁'表示世界坐标转换到右图像素坐标的变换矩阵第1行的行向量，P₂'表示世界坐标转换到右图像素坐标的变换矩阵第2行的行向量，P₃'表示世界坐标转换到右图像素坐标的变换矩阵第3行的行向量，(u,v)表示左待拼接图片P1的像素坐标，(u',v')表示右待拼接图片P2的像素坐标，表征一个特征点对，(x,y,z)表示待求空间点坐标。

进一步地，步骤S5包括以下子步骤：

S51：获取左待拼接图片P1中每个特征点对对应的空间三维位置的深度Z₁和右待拼接图片P2中每个特征点对对应的空间三维位置的深度Z₂；

S52：将右待拼接图片P2的像素坐标(u',v')和其对应的深度Z₂组成三维坐标(u',v',Z₂)，并进行薄板样条插值，得到插值函数Z₂＝f_P2(u',v')，其中，f_P2(·)表示由像素坐标(u',v')得到深度Z₂的函数表达式；

S53：将右待拼接图片P2的四个角点(0，0)、(0，H-1)、(W-1,0)和(W-1,H-1)带入插值函数，得到角点对应的深度值，其中，W表示右待拼接图片P2的宽度，H表示右待拼接图片P2的高度；

S54：根据右待拼接图片P2对应的摄像机外参和内参与对应角点的深度值，将右待拼接图片P2的四个角点映射到空间真实坐标；

S55：根据左待拼接图片P1对应的摄像机外参M₁和内参K₁，将四个角点映射得到的空间真实坐标右乘K₁·M₁，得到四个角点在左待拼接图片P1上的像素坐标，并得到右待拼接图片P2在左待拼接图片P1像平面成像的四边形区域；

S56：将左待拼接图片P1的像素坐标(u,v)和其对应的深度Z₁三维坐标(u,v,Z₁)，并进行薄板样条插值，得到插值函数Z₁＝f_P1(u',v')，其中，f_P1(·)表示由像素坐标(u',v')得到深度Z₁的函数表达式；

S57：在四边形区域上，利用插值函数Z₁＝f_P1(u',v')逐像素进行插值，得到四边形区域上的每个像素的坐标。

进一步地，步骤S6包括以下子步骤：

S61：根据左待拼接P1对应的摄像机外参和内参与对应像素坐标上的深度值，将步骤S5确定的四边形区域逐像素映射到空间三维坐标；

S62：根据右待拼接图片P2对应的摄像机外参M₂和内参K₂，将三维坐标右乘K₂·M₂，得到三维坐标在右待拼接图片P2上的像素坐标，并得到右待拼接图片P2像素坐标的像素值；

S63：将右待拼接图片P2像素坐标的像素值映射至目标图片，得到右待拼接图片P2映射后的右图片P2’；

S64：根据步骤S54确定的四边形区域，将左待拼接P1扩展为左图片P1’，将左图片P1’和右图片P2’进行多波段融合，得到目标图片P_final。

进一步地，映射关系的表达式为：

其中，Q＝(x,y,z₀)^T，α₁表示第一线性系数，α₂表示第二线性系数，(u,v)表示左待拼接图片P1的像素坐标，(u',v')表示右待拼接图片P2的像素坐标，K表示摄像机内参，Q表示像素点(u,v)处对应的待求空间点坐标，P表示世界坐标转换到左像素坐标的变换矩阵，z₀表示像素点(u,v)处对应的待求空间点坐标的z轴深度值。

本发明的有益效果是：

(1)本发明完全充分利用了相机位姿变换矩阵，不是简单地将其化为单应变换，更接近景物真实的射影变换。

(2)本发明使用相机内参，相比传统的方法，使用更全面的信息，而不是将其信息都合并到一个单应矩阵里面去，充分利用已知条件，更为合理。

(3)本发明基于匹配点对，利用几何关系，算出对应点的深度，而不是类似OPENCV库里面的全部统一用一个固定的深度表示，更符合实际，具有更高的准确性。

(4)本发明具有适用范围广和拼接精度高等优点，在图形拼接技术领域具有很高的实用价值和推广价值。

附图说明

图1为图像拼接方法的流程图；

图2为本发明的图像特征提取图；

图3为本发明的图像特征匹配图；

图4为本发明的由三维散点生成曲面图；

图5为本发明的最终实例效果图。

具体实施方式

下面结合附图对本发明的实施例作进一步的说明。

如图1所示，本发明提供了一种基于三维重构的图像拼接方法，包括以下步骤：

S1：利用摄像机采集两张待拼接图片，分别为左待拼接图片P1和右待拼接图片P2，并分别提取左待拼接图片P1和右待拼接图片P2的特征点；

S2：对两张待拼接图片的特征点进行特征匹配，得到匹配特征点对；

S3：根据各个匹配特征点对，确定两个摄像机之间的位姿变换矩阵；

S4：根据两个摄像机之间的位姿变换矩阵，利用三角化方法计算每个特征点对对应的空间三维位置；

S5：获取每个特征点对对应的空间三维位置的深度Z，并在目标图片对应的像素空间上进行插值；

S6：根据两个摄像机之间的位姿变换矩阵和空间三维位置对应的深度Z，构建映射关系，并根据映射关系进行图像拼接。

在本发明实施例中，步骤S2包括以下子步骤：

S21：将两张待拼接图片中对应特征点的相似度距离最大值和次大值分别作为最近匹配点对相似度距离和次近匹配点对相似度距离；

S22：逐个剔除两张待拼接图片中对应特征点的最近匹配点对相似度距离与次近匹配点对相似度距离的比值大于0.7的特征点；

S23：逐个剔除两张待拼接图片中相似度距离大于最小相似度距离5倍所对应的特征点，将剩余的特征点作为匹配特征点对，完成特征匹配。

在本发明实施例中，如图2所示，为实际效果图的特征提取点。

在本发明实施例中，步骤S3包括以下子步骤：

S31：将世界坐标系中左待拼接图片P1对应的摄像机作为像素坐标系的原点，其外参表达式为M＝[I|0]_3×4，其中，I表示3×3的单位矩阵；

S32：将匹配特征点对中两个摄像机对应的像素坐标均左乘各自的内参逆矩阵K^-1，得到对应的归一化相机坐标p和p'；

S33：根据两个摄像机的归一化相机坐标p和p'与像素坐标系的原点，利用八点法计算两个摄像机之间在像素坐标系中的位姿变换矩阵。

关于三角化(用特征点对得到3D点坐标)：已知世界分别到左右摄像机的位姿变换矩阵，为M_w->c＝[R|t]_3×4和M'_w->c＝[R'|t']_3×4(R为旋转矩阵，t为平移向量，M_w->c和M'_w->c分别代表物体的三维世界(world)坐标转换到左、右相机(camera)坐标的变换矩阵。M'为从左相机坐标到右相机坐标的位姿变换矩阵，可以由特征点匹配，再通过“八点法”求出。

M'求解的方法如下，将匹配点对的左右相机的像素坐标通过左乘各自相机内参的逆K^-1得到归一化的相机坐标，记为p和p'。有p＝M'·p',即p＝R'p'+t'，对等式两边同时左叉乘t'，得：

[t']_x·p＝[t']_x·(R'·p'+t')

化简得，

[t']_x·p＝[t']_x·R'·p'

进一步，再将等式两边同时和p^T做点积，得，

0＝p^T[t']_x·R'·p'

令E_3×3＝[t']_x·R'，E即是所谓的本质矩阵，对上述等式，一个点对(p,p')就可以建立一个方程。由于E的第九个元素会归一化，故而我们只需要8个方程即8个匹配点对就可以求解出方程E。得到矩阵E之后，通过线性代数相关知识就得分解得到R'和t'，进而求得需要的相机位姿变换矩阵M'。

在本发明实施例中，如图3所示，为实际效果图的特征匹配图。

在本发明实施例中，步骤S4中，每个特征点对对应的空间三维位置的计算公式为：

其中，P₁表示世界坐标转换到左图像素坐标的变换矩阵第1行的行向量，P₂表示世界坐转换到左图像素坐标的变换矩阵第2行的行向量，P₃表示世界坐标转换到左图像素坐标的变换矩阵第3行的行向量，P₁'表示世界坐标转换到右图像素坐标的变换矩阵第1行的行向量，P’₂表示世界坐标转换到右图像素坐标的变换矩阵第2行的行向量，P’₃表示世界坐标转换到右图像素坐标的变换矩阵第3行的行向量，(u,v)表示左待拼接图片P1的像素坐标，(u',v')表示右待拼接图片P2的像素坐标，表征一个特征点对，(x,y,z)表示待求空间点坐标。

假设知道相机内参K(可由张氏标定求得)，令P_3×4＝K·M，P’_3×4＝K·M'，分别代表左右图的空间三维坐标直接到像素坐标的变换矩阵(相机内参K蕴含了尺度的转换)。由投影关系可知，像素点齐次坐标q(u,v,1)^T和空间三维点齐次坐标Q(x,y,z,1)^T，要求未知变量x、y、z，分析有如下关系，

α·q＝P·Q

其中,P_i表示取P_3×4的第i行得到的行向量，α是为了让该线性方程组等式成立的系数，并不需要关心它具体取多少。

将α·1＝P₃·Q代入

得：

三个未知数，两个方程还不能求解。由于只用了一个投影的关系。因为有左右图片的投影。故一共会有四个方程，由数学关系可知线性方程组的系数矩阵的秩r＝＝3。恰有由一个解向量构成的解空间。

由于现实中该线性方程组往往是满秩的，不能满足秩为三的情况，这就要用到矩阵的SVD分解，将满秩齐次线性方程组A的SVD(A＝UΛV^T)分解的V的最后一列作为最终齐次线性方程组的近似解。将解的最后一个维度归一解得到要的三维坐标点位置。

在本发明实施例中，步骤S5包括以下子步骤：

S51：获取左待拼接图片P1中每个特征点对对应的空间三维位置的深度Z₁和右待拼接图片P2中每个特征点对对应的空间三维位置的深度Z₂；

S52：将右待拼接图片P2的像素坐标(u',v')和其对应的深度Z₂组成三维坐标(u',v',Z₂)，并进行薄板样条插值，得到插值函数Z₂＝f_P2(u',v')，其中，f_P2(·)表示由像素坐标(u',v')得到深度Z₂的函数表达式；

S53：将右待拼接图片P2的四个角点(0，0)、(0，H-1)、(W-1,0)和(W-1,H-1)带入插值函数，得到角点对应的深度值，其中，W表示右待拼接图片P2的宽度，H表示右待拼接图片P2的高度；

S54：根据右待拼接图片P2对应的摄像机外参和内参与对应角点的深度值，将右待拼接图片P2的四个角点映射到空间真实坐标；

S55：根据左待拼接图片P1对应的摄像机外参M₁和内参K₁，将四个角点映射得到的空间真实坐标右乘K₁·M₁，得到四个角点在左待拼接图片P1上的像素坐标，并得到右待拼接图片P2在左待拼接图片P1像平面成像的四边形区域；

S56：将左待拼接图片P1的像素坐标(u,v)和其对应的深度Z₁三维坐标(u,v,Z₁)，并进行薄板样条插值，得到插值函数Z₁＝f_P1(u',v')，其中，f_P1(·)表示由像素坐标(u',v')得到深度Z₁的函数表达式；

S57：在四边形区域上，利用插值函数Z₁＝f_P1(u',v')逐像素进行插值，得到四边形区域上的每个像素的坐标。

在本发明实施例中，步骤S6包括以下子步骤：

S61：根据左待拼接P1对应的摄像机外参和内参与对应像素坐标上的深度值，将步骤S5确定的四边形区域逐像素映射到空间三维坐标；

S62：根据右待拼接图片P2对应的摄像机外参M₂和内参K₂，将三维坐标右乘K₂·M₂，得到三维坐标在右待拼接图片P2上的像素坐标，并得到右待拼接图片P2像素坐标的像素值；

S63：将右待拼接图片P2像素坐标的像素值映射至目标图片，得到右待拼接图片P2映射后的右图片P2’；

S64：根据步骤S54确定的四边形区域，将左待拼接P1扩展为左图片P1’，将左图片P1’和右图片P2’进行多波段融合，得到目标图片P_final。

在本发明实施例中，映射关系的表达式为：

其中，Q＝(x,y,z₀)^T，α₁表示第一线性系数，α₂表示第二线性系数，(u,v)表示左待拼接图片P1的像素坐标，(u',v')表示右待拼接图片P2的像素坐标，K表示摄像机内参，Q表示像素点(u,v)处对应的待求空间点坐标，P表示世界坐标转换到左像素坐标的变换矩阵，z₀表示像素点(u,v)处对应的待求空间点坐标的z轴深度值。K是3x3矩阵，P和P'是3x4矩阵，

对这些真实的三维点运用合适的插值方法，进行合理的插值和外推。这样也就得到了每个像素位置对应的三维点的深度，通过深度信息和相机位姿变换矩阵就可以在两幅图片中建立准确的映射关系，进而完成整个拼接。

若需要从左图像素坐标找到对应右图像素坐标时，通过求解方程

得到已知深度为z₀处的三维坐标Q(x,y,z₀)。观察方程组

将等式两边乘以K^-1，再将左边的齐次坐标最后一维度归一，再乘以z₀，从而求出空间点Q(x,y,z₀)。

若需要从右图像素坐标找到对应左图像素坐标时，通过求解方程

得到已知深度为z₀处的三维坐标Q(x,y,z₀,1)。观察方程

有三个方程，由于有α₂未知参数，方程组化为：

其中，P_i'表示取P'的第i行，展开简化为

其中，

从而求出空间点Q(x,y,z₀,1)。将Q带入等式

即求得像素在左图的位置。

在本发明实施例中，如图4所示，为实际效果图的三维散点生成曲面图，图5为本发明的最终实例效果图。

本发明的工作原理及过程为：本发明公开了一种基于三维重构的图像拼接方法，包括：获取任意两个待拼接的有重合区域的特征角点；对两幅图片中提取出的特征点进行匹配；对匹配出的特征点对求出两个摄像机之间的位姿变换矩阵；对匹配出的特征点对和摄像机的位姿变换矩阵利用三角化求出在三维空间中的真实位置，以及两个摄像机的位姿变换矩阵；对这些真实的三维点运用合适的插值方法，进行合理的插值和外推；这样也就得到了每个像素位置对应的三维点的深度，通过深度信息和相机位姿变换矩阵就可以在两幅图片中建立准确的映射关系。

本发明的有益效果为：

(1)本发明完全充分利用了相机位姿变换矩阵，不是简单地将其化为单应变换，更接近景物真实的射影变换。

(2)本发明使用相机内参，相比传统的方法，使用更全面的信息，而不是将其信息都合并到一个单应矩阵里面去，充分利用已知条件，更为合理。

(3)本发明基于匹配点对，利用几何关系，算出对应点的深度，而不是类似OPENCV库里面的全部统一用一个固定的深度表示，更符合实际，具有更高的准确性。

(4)本发明具有适用范围广和拼接精度高等优点，在图形拼接技术领域具有很高的实用价值和推广价值。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (7)

1.一种基于三维重构的图像拼接方法，其特征在于，包括以下步骤：

S1：利用摄像机采集两张待拼接图片，分别为左待拼接图片P1和右待拼接图片P2，并分别提取左待拼接图片P1和右待拼接图片P2的特征点；

S2：对两张待拼接图片的特征点进行特征匹配，得到匹配特征点对；

S3：根据各个匹配特征点对，确定两个摄像机之间的位姿变换矩阵；

S4：根据两个摄像机之间的位姿变换矩阵，利用三角化方法计算每个特征点对对应的空间三维位置；

S5：获取每个特征点对对应的空间三维位置的深度，并在目标图片对应的像素空间上进行插值；

S6：根据两个摄像机之间的位姿变换矩阵和空间三维位置对应的深度，构建映射关系，并根据映射关系进行图像拼接。

2.根据权利要求1所述的基于三维重构的图像拼接方法，其特征在于，所述步骤S2包括以下子步骤：

S21：将两张待拼接图片中对应特征点的相似度距离最大值和次大值分别作为最近匹配点对相似度距离和次近匹配点对相似度距离；

S22：逐个剔除两张待拼接图片中对应特征点的最近匹配点对相似度距离与次近匹配点对相似度距离的比值大于0.7的特征点；

S23：逐个剔除两张待拼接图片中相似度距离大于最小相似度距离5倍所对应的特征点，将剩余的特征点作为匹配特征点对，完成特征匹配。

3.根据权利要求1所述的基于三维重构的图像拼接方法，其特征在于，所述步骤S3包括以下子步骤：

S31：将世界坐标系中左待拼接图片P1对应的摄像机作为像素坐标系的原点，其外参表达式为M＝[I|0]_3×4，其中，I表示3×3的单位矩阵；

S32：将匹配特征点对中两个摄像机对应的像素坐标均左乘各自的内参逆矩阵K^-1，得到对应的归一化相机坐标p和p'；

S33：根据两个摄像机的归一化相机坐标p和p'与像素坐标系的原点，利用八点法计算两个摄像机之间在像素坐标系中的位姿变换矩阵。

4.根据权利要求1所述的基于三维重构的图像拼接方法，其特征在于，所述步骤S4中，每个特征点对对应的空间三维位置的计算公式为：

其中，P₁表示世界坐标转换到左图像素坐标的变换矩阵第1行的行向量，P₂表示世界坐转换到左图像素坐标的变换矩阵第2行的行向量，P₃表示世界坐标转换到左图像素坐标的变换矩阵第3行的行向量，P′₁表示世界坐标转换到右图像素坐标的变换矩阵第1行的行向量，P′₂表示世界坐标转换到右图像素坐标的变换矩阵第2行的行向量，P′₃表示世界坐标转换到右图像素坐标的变换矩阵第3行的行向量，(u,v)表示左待拼接图片P1的像素坐标，(u',v')表示右待拼接图片P2的像素坐标，(x,y,z)表示待求空间点坐标。

5.根据权利要求1所述的基于三维重构的图像拼接方法，其特征在于，所述步骤S5包括以下子步骤：

S51：获取左待拼接图片P1中每个特征点对对应的空间三维位置的深度Z₁和右待拼接图片P2中每个特征点对对应的空间三维位置的深度Z₂；

S52：将右待拼接图片P2的像素坐标(u',v')和其对应的深度Z₂组成三维坐标(u',v',Z₂)，并进行薄板样条插值，得到插值函数Z₂＝f_P2(u',v')，其中，f_P2(·)表示由像素坐标(u',v')得到深度Z₂的函数表达式；

S53：将右待拼接图片P2的四个角点(0，0)、(0，H-1)、(W-1,0)和(W-1,H-1)带入插值函数，得到角点对应的深度值，其中，W表示右待拼接图片P2的宽度，H表示右待拼接图片P2的高度；

S54：根据右待拼接图片P2对应的摄像机外参和内参与对应角点的深度值，将右待拼接图片P2的四个角点映射到空间真实坐标；

S55：根据左待拼接图片P1对应的摄像机外参M₁和内参K₁，将四个角点映射得到的空间真实坐标右乘K₁·M₁，得到四个角点在左待拼接图片P1上的像素坐标，并得到右待拼接图片P2在左待拼接图片P1成像平面的四边形区域；

S56：将左待拼接图片P1的像素坐标(u,v)和其对应的深度Z₁三维坐标(u,v,Z₁)，并进行薄板样条插值，得到插值函数Z₁＝f_P1(u',v')，其中，f_P1(·)表示由像素坐标(u',v')得到深度Z₁的函数表达式；

S57：在四边形区域上，利用插值函数Z₁＝f_P1(u',v')逐像素进行插值，得到四边形区域上的每个像素的坐标。

6.根据权利要求5所述的基于三维重构的图像拼接方法，其特征在于，所述步骤S6包括以下子步骤：

S61：根据左待拼接P1对应的摄像机外参和内参与对应像素坐标上的深度值，将步骤S5确定的四边形区域逐像素映射到空间三维坐标；

S62：根据右待拼接图片P2对应的摄像机外参M₂和内参K₂，将三维坐标右乘K₂·M₂，得到三维坐标在右待拼接图片P2上的像素坐标，并得到右待拼接图片P2像素坐标的像素值；

S63：将右待拼接图片P2像素坐标的像素值映射至目标图片，得到右待拼接图片P2映射后的右图片P2’；

S64：根据步骤S54确定的四边形区域，将左待拼接P1扩展为左图片P1’，将左图片P1’和右图片P2’进行多波段融合，得到目标图片P_final。

7.根据权利要求6所述的基于三维重构的图像拼接方法，其特征在于，所述映射关系的表达式为：

其中，Q＝(x,y,z₀)^T，α₁表示第一线性系数，α₂表示第二线性系数，(u,v)表示左待拼接图片P1的像素坐标，(u',v')表示右待拼接图片P2的像素坐标，K表示摄像机内参，Q表示像素点(u,v)处对应的待求空间点坐标，P表示世界坐标转换到左像素坐标的变换矩阵，z₀表示像素点(u,v)处对应的待求空间点坐标的z轴深度值。

Images