CN109064404A - 一种基于多相机标定的全景拼接方法、全景拼接系统 - Google Patents

Abstract

本发明属于全景拼接技术领域，公开了一种基于多相机标定的全景拼接方法、全景拼接系统，对各相机分别进行内参标定以及畸变参数估计；分别对每相邻两相机同时采集不同位姿的棋盘格图片若干对，对成对的棋盘格图片畸变校正后进行角点检测与匹配；内点筛选并估计出两两相机之间的初始单应矩阵；通过两相机之间的初始单应矩阵和标定得到的内参矩阵，计算出两相机之间的初始旋转矩阵；根据重投影误差最小对所有相机对之间的初始旋转矩阵进行全局优化，并用L‑M算法更新参数得到最终的优化结果。本发明利用多相机标定方法制作拼接模板，避免了每次拼接需要进行特征点提取和匹配的过程，而且在特征点少或者重叠率低的情况下，仍然获得较好的拼接效果。

Description

一种基于多相机标定的全景拼接方法、全景拼接系统

技术领域

本发明属于全景拼接技术领域，尤其涉及一种基于多相机标定的全景拼接方法、全景拼接系统。

背景技术

目前，业内常用的现有技术是这样的：随着虚拟现实(VR)的不断发展，全景拼接也成为计算机视觉领域的研究热点。全景技术作为虚拟现实最直观、最低成本的实现方式已在多个领域得到了广泛的应用。而对于图像拼接算法，基于特征点检测与匹配的拼接算法仍然是主流算法，通过图像对的特征点提取与匹配，根据特征点的匹配情况可得到图像变换模型，常用的图像变换模型有仿射变换模型、透视变换模型等，用所得到的模型对所有待拼接的图像进行变换，最后在重叠区域进行融合后得到一副首尾相接的全景图。

目前最常用的拼接算法一般通过经典的SIFT算法提取点特征，SIFT特征点对图像的尺度变化、旋转变化、光照变化等保持不变，对仿射变换也有一定的不变性，是广泛采用的特征点提取方法之一，但是其复杂度高，计算速度较慢；在匹配过程中，使用特征向量之间距离的最近邻和次近邻之比来判断特征点是否匹配；然后利用RANSAC算法剔除误匹配对，估算出图像间的单应矩阵；最后根据生成的图像变换模型进行相应的图像变换后，再经过多波段融合处理得到全景图。但是此种算法因为视差的原因会导致重影和错位，即单应矩阵是两个平面之间的变换，一个单应矩阵将位于同一平面的点对齐了，而位于其他平面的点就无法对齐。所以有很多新的算法利用两个单应矩阵，甚至多个单应矩阵来进行拼接。目前拼接效果好的算法是基于局部单应性的，将图像划分成细密的网格，每个网格做一次局部单应变换。

以上所述这些算法都非常依赖于场景中丰富的特征点信息。而在实际场景中，特征点的分布往往不均匀甚至有些场景特征点非常少，例如白墙、玻璃窗、草坪等；对于一些高度对称的场景和建筑，因为其特征点极为相似很容易匹配错误。这时候基于特征点检测与匹配的拼接算法将会失效。另外，基于特征点检测与匹配的拼接算法也依赖于两两图像之间的重叠区域，一般情况下重叠区域得保证在百分之三十到四十以上，才能达到一个较好的拼接效果，即检测到的特征点里面内点率要比较高，才能匹配正确。而且，在虚拟现实等应用中，全景拼接的实时性至关重要。基于网格化的局部单应性的算法虽然拼接效果好，但是拼接速度非常慢。同时为了保证重叠率高，就需要相机安全距离小，故所需要的相机数目增多。随着相机数目的增多，导致待拼接处理的图片数量就会增多，从而也导致计算量变大，处理速度变慢。这些问题对于实时性来说，都是非常大的挑战。

综上所述，现有技术存在的问题是：现有算法的处理速度慢，计算耗时大；对于特征点少或者重叠区域低的场景，现有的基于特征点提取和匹配的算法不鲁棒。

解决上述技术问题的难度和意义：如何保证算法在特征点少或者重叠区域低的场景下仍然有效以及如何提高拼接算法的计算速度使得全景系统能够实时拼接具有非常重要的意义。

发明内容

针对现有技术存在的问题，本发明提供了一种基于多相机标定的全景拼接方法、全景拼接系统。

本发明是这样实现的，一种基于多相机标定的全景拼接方法，所述基于多相机标定的全景拼接方法包括：对各相机分别进行内参标定以及畸变参数估计；在两两相机共同视野内放置棋盘格标定板，采集同一时刻同一位置的棋盘格图片若干对，对成对的棋盘格图片畸变校正后进行角点检测与匹配；用RANSAC算法进行内点筛选并估计出两两相机之间的初始单应矩阵；通过两相机之间的初始单应矩阵和标定得到的内参矩阵，计算出两相机之间的初始旋转矩阵；根据重投影误差最小对所有相机对之间的初始旋转矩阵进行全局优化，并用L-M算法更新参数得到最终的优化结果。

进一步，所述基于多相机外参标定的全景拼接方法具体包括：

步骤一、对每个相机分别进行内参标定与畸变系数求解；

步骤二、每相邻的两个相机为一组，分别进行外参标定数据采集，即同时采集不同位姿的棋盘格标定板图片15对左右；若因两相机之间重叠区域小，无法保证棋盘格图片被两相机同时拍全，进行步骤三的操作；若可以保证图片中棋盘格的完整性，则直接跳至步骤四；

步骤三、对于安全距离较大的两个相邻相机A、B，在两相机之间置放第三相机C，分别对A、C相机和B、C相机同时采集不同位姿的棋盘格图片若干对；

步骤四、对成对的棋盘格图片畸变校正后进行角点检测，然后按照棋盘格角点规则的分布关系进行一一匹配；

步骤五、用RANSAC算法进行内点筛选并估计出相邻两相机之间的初始单应矩阵；通过这两相机之间的初始单应矩阵和标定得到的内参矩阵，计算出两相机之间的初始旋转矩阵；

步骤六、根据重投影误差最小对所有相机之间的旋转矩阵进行全局优化，并用L-M算法更新参数得到最终的优化结果。

进一步，所述步骤一中对每个相机分别进行内参标定具体包括：采用标定中常用张氏标定法，采集20幅处于不同位姿的棋盘格标定板图像，在每幅图像上进行角点检测，计算标定所用图像和棋盘格之间的单应变换H，利用棋盘格的几何关系，建立各视图图像中各角点的对应关系；棋盘格上的所有角点的空间坐标是满足共面约束的，假设其Z坐标为0，对单应性进行计算：

其中，u,v为角点的像素坐标，X,Y为角点在棋盘格上的空间坐标。将H进行分解，得到：

H＝sK[r₁ r₂ t]；

其中，r₁,r₂,t位棋盘的位置姿态，s为标量系数，K为相机的内参数矩阵。然后利用r₁和r₂的正交性求解K。

进一步，所述步骤一中对每个相机求解其畸变系数，具体包括：用以全景拼接的相机镜头基本上为超广角镜头甚至鱼眼镜头，其图像存在严重的畸变失真，为了求解相机的畸变系数，假设相机成像模型为鱼眼模型。鱼眼相机成像时遵循的模型可以近似为单位球面投影模型，即第一步，三维空间点线性地投影到一个球面上，它是一个虚拟的单位球面，球心与相机坐标系的原点重合；第二步单位球面上的点投影到图像平面上。最常用的鱼眼相机模型为等距投影模型：

r＝fθ；

上述式子中，r表示鱼眼图像中点到畸变中心的距离，f是鱼眼相机的焦距，θ是入射光线与鱼眼相机光轴之间的夹角，即入射角。

为了方便鱼眼相机的标定，通常使用一种鱼眼相机的一般多项式近似模型。如下：

r_d＝fθ_d；

θ_d＝θ(1+k₁θ₂+k₂θ₄+k₃θ₆+k₄θ₈)；

最后利用棋盘格标定板的空间点到图像点之间的投影关系，使用L-M算法使得重投影误差最小来求解出相机的四个畸变系数。

进一步，所述步骤二外参标定数据采集具体包括：每相邻的两个相机为一组，分别进行数据采集，在两相机的共同视野放置棋盘格标定板，捕获同一时刻不同位姿的棋盘格图片对15对左右。此步骤中应当注意的是两个相机所采集的图片中棋盘格是完整的。

进一步，所述步骤三具体包括：对于安全距离较大的两个相邻相机A、B，在两相机之间置放第三相机C，分别对A、C相机和B、C相机同时采集不同位姿的完整的棋盘格图片15对左右。

进一步，所述步骤四角点检测与匹配方法具体包括：A、B两个是相邻相机，A_i、B_i分别代表A、B相机在第i(i＝1，2，...，15)个时刻拍摄的棋盘格图片，分别将棋盘格图片进行角点检测，若某一时刻的棋盘格图片角点检测失败，则对A、B两相机都删除该时刻的图片；对于检测成功的棋盘格图片，按照采集时刻的顺序存储角点；最后A、B相机保存下来的角点按照棋盘格角点规则的分布可一一匹配。

进一步，所述步骤五初始化图像单应变换矩阵的方法具体包括：为了比较准确的计算出两幅图像之间的单应矩阵，使用RANSAC(随机抽样一致性算法)算法滤除外点，选择4对匹配特征点，使用直线线性变换的方法计算出图像之间的但应矩阵H，然后重复500次试验，选择出内点最大的解决方法，在像素误差范围内，预测结果与H是一致的；一组图像之间的特征点正确匹配的概率，即内点概率为p_i，n次试验后找到正确单应矩阵的概率为：

p＝1-(1-(p_i)^r)ⁿ；

找到正确的单应矩阵的概率是非常大的，对于内点概率p_i＝0.5，在500次试验后，未找到单应矩阵的概率为1×10^-14。

进一步，所述步骤五相邻两相机之间的旋转矩阵R的计算方法具体包括：基于光心一致假设，以两个相机A、B为例，A相机坐标系为基准。将匹配点对的序列作为输入，计算单应矩阵H_AB,然后根据上述步骤中得到的内参矩阵计算得到旋转矩阵R。

对于围绕一个中心点的全景成像模型，所有相机以光心为原点，三维点坐标点为P＝[X，Y，Z]，其图像坐标x＝(x，y，1),二者之间的关系可以表示为：

x～KRP+T；

在这里，K为上述计算得到内参矩阵，R是两个相机之间的旋转矩阵，假设平移矩阵T＝[0，0，0]^T。那么三维点与像素坐标的对应关系为：

P～R^-1K^-1x；

将两个相机A和B的之间透视变换矩阵H_AB定义为：

这里K_A为A相机内参矩阵，R_A为A相机相对于基准相机的旋转矩阵。推导可得，A、B两相机之间的旋转矩阵R_AB为：

对于A、B两个安全距离较大的相机，C相机作为A、B相机用来外参标定的辅助相机，分别对A、C相机和B、C相机采集外参标定的棋盘格数据，获取两两之间特征点匹配关系，按照上述步骤计算两两之间的旋转矩阵，那么最后A、B相机之间的关系表示为：

进一步，所述步骤六对各参数捆绑调整进行全局优化具体包括：由使用重投影误差和最小作为本发明的目标函数；利用拼接参数K和R，将每个特征点投影到与它匹配的图像中，计算投影后的特征点与对应特征点的像素误差，使得这个误差值最小； 表示在图像i中第k个特征点的位置，目标函数表示为：

其中，表示点从图像j到图像i的投影，对应于第i辐图像中的点

误差函数为所有图像目标函数的误差总和，表示为：

其中，n是图像总数，I(i)表示与图像i相匹配的图像集合，f(i，j)表示图像i和图像j的特征匹配集合。

本发明的另一目的在于提供一种应用所述基于多相机标定的全景拼接方法的全景拼接系统。

综上所述，本发明的优点及积极效果为：

本发明基于多相机标定的全景拼接方法可以通过获取相机之间的外参，离线制作拼接模板，避免了每次拼接需要进行特征点提取和匹配的过程，从而提高了拼接速度。而且在特征点少或者重叠率低的情况下，该方法都能获得很好的拼接效果。本发明通过多相机位置关系的解算以及对解算结果的优化，实现了一种简单、快速、普适且鲁棒的全景拼接方法。

附图说明

图1是本发明实施例提供的基于多相机标定的全景拼接方法流程图。

图2、图3是本发明实施例提供的两组实验结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明不同于基于特征点匹配的拼接方法，直接标定两两相机之间的外参R，制作拼接模板，对于相机位置固定的相机阵列，在特征点极少的情况下依然可以达到较好的拼接效果；对于安全距离较大的相机组，通过离线在两相机中间放置第三辅助相机，解算两相机之间的位置关系，然后同样利用其外参R和内参矩阵制作拼接模板，解决图像之间重叠率低时的难以拼接的问题。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示：本发明实施例的基于多相机外参标定的全景拼接方法，主要包括以下步骤：

S101：对每个相机分别进行内参标定与畸变系数求解；

S102：每相邻的两个相机为一组，分别进行外参标定数据采集，即同时采集不同位姿的棋盘格标定板图片15对左右；若因两相机之间重叠区域小，无法保证棋盘格图片被两相机同时拍全，进行步骤三的操作；若可以保证图片中棋盘格的完整性，则直接跳至步骤四；

S103：对于安全距离较大的两个相邻相机A、B，在两相机之间置放第三相机C，分别对A、C相机和B、C相机同时采集不同位姿的棋盘格图片若干对；

S104：对成对的棋盘格图片畸变校正后进行角点检测，然后按照棋盘格角点规则的分布关系进行一一匹配；

S105：用RANSAC算法进行内点筛选并估计出相邻两相机之间的初始单应矩阵；通过这两相机之间的初始单应矩阵和标定得到的内参矩阵，计算出两相机之间的初始旋转矩阵；

S106：根据重投影误差最小对所有相机之间的旋转矩阵进行全局优化，并用L-M算法更新参数得到最终的优化结果。

下面结合具体实施例对本发明的应用原理作进一步的描述。

在本发明的优选实施例中，步骤S101中对每个相机分别进行内参标定具体包括：采用标定中常用张氏标定法。采集20幅处于不同位姿的棋盘格标定板图像，在每幅图像上进行角点检测，计算标定所用图像和棋盘格之间的单应变换H，利用棋盘格的几何关系，建立各视图图像中各角点的对应关系；棋盘格上的所有角点的空间坐标是满足共面约束的，假设其Z坐标为0，对单应性进行计算：

其中，u,v为角点的像素坐标，X,Y为角点在棋盘格上的空间坐标。将H进行分解，得到：

H＝sK[r₁ r₂ t]；

其中，r₁,r₂,t位棋盘的位置姿态，s为标量系数，K为相机的内参数矩阵。然后利用r₁和r₂的正交性求解K。

在本发明的优选实施例中，步骤S101中对每个相机求解其畸变系数，具体包括：用以全景拼接的相机镜头基本上为超广角镜头甚至鱼眼镜头，其图像存在严重的畸变失真，为了求解相机的畸变系数，假设相机成像模型为鱼眼模型。鱼眼相机成像时遵循的模型可以近似为单位球面投影模型，即第一步，三维空间点线性地投影到一个球面上，它是一个虚拟的单位球面，球心与相机坐标系的原点重合；第二步单位球面上的点投影到图像平面上。最常用的鱼眼相机模型为等距投影模型：

r＝fθ；

上述式子中，r表示鱼眼图像中点到畸变中心的距离，f是鱼眼相机的焦距，θ是入射光线与鱼眼相机光轴之间的夹角，即入射角。

为了方便鱼眼相机的标定，通常使用一种鱼眼相机的一般多项式近似模型。如下：

r_d＝fθ_d；

θ_d＝θ(1+k₁θ₂+k₂θ₄+k₃θ₆+k₄θ₈)；

最后利用棋盘格标定板的空间点到图像点之间的投影关系，使用L-M算法使得重投影误差最小来求解出相机的四个畸变系数。

在本发明的优选实施例中，步骤S102外参标定数据采集具体包括：每相邻的两个相机为一组，分别进行数据采集，在两相机的共同视野放置棋盘格标定板，捕获同一时刻不同位姿的棋盘格图片对15对左右。此步骤中应当注意的是两个相机所采集的图片中棋盘格是完整的。

在本发明的优选实施例中，步骤S103具体包括：对于安全距离较大的两个相邻相机A、B，在两相机之间置放第三相机C，分别对A、C相机和B、C相机同时采集不同位姿的完整的棋盘格图片15对左右。

在本发明的优选实施例中，步骤S104中角点检测与匹配方法具体包括：假设A、B两个是相邻相机，A_i、B_i分别代表A、B相机在第i(i＝1，2，...，15)个时刻拍摄的棋盘格图片。实验中使用的棋盘格标定板内角点是11*8，故检测到的角点总数应该是88个。对于A、B两相机，分别将棋盘格图片进行角点检测，若某一时刻的棋盘格图片角点检测失败(包括检测不到角点或者检测到的角点数目不等于88)，则对A、B两相机都删除该时刻的图片；对于检测成功的棋盘格图片，按照采集时刻的顺序存储角点。最后A、B相机保存下来的角点将可以按照顺序一一匹配。

在本发明的优选实施例中，所述步骤S105中初始化图像单应变换矩阵的方法以及相邻两相机之间的旋转矩阵R的计算方法具体包括：为了比较准确的计算出两幅图像之间的单应矩阵，使用RANSAC(随机抽样一致性算法)算法滤除外点，选择4对匹配特征点，使用直线线性变换的方法计算出图像之间的但应矩阵H，然后重复500次试验，选择出内点最大的解决方法，在像素误差范围内，预测结果与H是一致的；一组图像之间的特征点正确匹配的概率，即内点概率为p_i，n次试验后找到正确单应矩阵的概率为：

p＝1-(1-(p_i)^r)ⁿ；

找到正确的单应矩阵的概率是非常大的，对于内点概率p_i＝0.5，在500次试验后，未找到单应矩阵的概率为1×10^-14。

这里本发明的全景相机阵列是基于光心一致假设的，所以本发明忽略两两相机之间的平移矩阵。以两个相机A、B为例，A相机坐标系为基准。将匹配点对的序列作为输入，计算单应矩阵H_AB，然后根据步骤S101中得到的内参矩阵计算得到旋转矩阵R。

对于围绕一个中心点的全景成像模型，所有相机以光心为原点，三维点坐标点为P＝[X，Y，Z]，其图像坐标x＝(x，y，1),二者之间的关系可以表示为：

x～KRP+T；

在这里，K为上述计算得到内参矩阵，R是两个相机之间的旋转矩阵，假设平移矩阵T＝[0，0，0]^T。那么三维点与像素坐标的对应关系为：

P～R^-1K^-1x；

将两个相机A和B的之间透视变换矩阵H_AB定义为：

这里K_A为A相机内参矩阵，R_A为A相机相对于基准相机的旋转矩阵。推导可得，A、B两相机之间的旋转矩阵R_AB为：

对于A、B两个安全距离较大的相机，C相机作为A、B相机用来外参标定的辅助相机，分别对A、C相机和B、C相机采集外参标定的棋盘格数据，获取两两之间特征点匹配关系，按照上述步骤计算两两之间的旋转矩阵，那么最后A、B相机之间的关系表示为：

在本发明的优选实施例中，步骤S106对各参数捆绑调整进行全局优化具体包括：由于图像之间的几何一致性匹配关系，本发明使用捆绑调整对所有相机之间的参数进行优化，这是本发明进行全景拼接最重要的一步，消除了拼接参数的累计误差。忽略了图像之间的匹配约束，本发明将所有的拼接参数进行整体的优化，把全景图的两端联合起来，把两两相机之间的最佳的匹配结果添加到捆绑调节器中，本发明使用L-M算法对相机参数进行更新。

在这里本发明使用重投影误差和最小作为本发明的目标函数。利用拼接参数K和R，本发明将每个特征点投影到与它匹配的图像中，计算投影后的特征点与对应特征点的像素误差，使得这个误差值最小。考虑到特征点的匹配关系， 表示在图像i中第k个特征点的位置，目标函数表示为：

其中，表示点从图像j到图像i的投影，对应于第i幅图像中的点

误差函数为所有图像目标函数的误差总和，表示为：

其中，n是图像总数，I(i)表示与图像i相匹配的图像集合，f(i，j)表示图像i和图像j的特征匹配集合。

下面结合实验对本发明的应用效果做详细的描述。

为了说明本发明能够很好的提升拼接效率同时也能解决低纹理场景下的拼接。分别进行了不同场景下的拼接实验，表1给出了最常用的经典拼接算法AutoStitch与本发明拼接方法在两个不同场景下的时间对比，在按照图像模型变换后，两种方法都采用最佳缝合线和多波段融合相结合的后处理。表2中是我们优化后得到的相机之间的旋转矩阵，其中R₀为基准矩阵，R_0i为第i个相机相对于基准矩阵的旋转矩阵。图2、图3是本发明的拼接效果图。

表1与AutoStitch算法时间对比

表2拼接模板中的旋转矩阵

从上述表1的结果可知，本发明的时间复杂度相对传统方法有很大的提升。图2、图3分别是本发明的拼接效果图，测试结果表明了本发明的可用性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多相机标定的全景拼接方法，其特征在于，所述基于多相机标定的全景拼接方法包括：

对各相机分别进行内参标定以及畸变参数估计；

分别对每相邻两相机同时采集不同位姿的棋盘格图片若干对，对成对的棋盘格图片畸变校正后进行角点检测与匹配；

内点筛选并估计出两两相机之间的初始单应矩阵；

通过两相机之间的初始单应矩阵和标定得到的内参矩阵，计算出两相机之间的初始旋转矩阵；

根据重投影误差最小对所有相机对之间的初始旋转矩阵进行全局优化，并用L-M算法更新参数得到最终的优化结果。

2.如权利要求1所述的基于多相机标定的全景拼接方法，其特征在于，所述基于多相机标定的全景拼接方法包括以下步骤：

步骤一、对每个相机分别进行内参标定与畸变系数求解；

步骤二、每相邻的两个相机为一组，分别进行外参标定数据采集，即同时采集不同位姿的棋盘格标定板图片15对左右；若因两相机之间重叠区域小，无法保证棋盘格图片被两相机同时拍全，进行步骤三的操作；若可以保证图片中棋盘格的完整性，则直接跳至步骤四；

步骤三、对于安全距离较大的两个相邻相机A、B，在两相机之间置放第三相机C，分别对A、C相机和B、C相机同时采集不同位姿的棋盘格图片若干对；

步骤四、对成对的棋盘格图片畸变校正后进行角点检测，然后按照棋盘格角点规则的分布关系进行一一匹配；

步骤五、用RANSAC算法进行内点筛选并估计出相邻两相机之间的初始单应矩阵；通过这两相机之间的初始单应矩阵和标定得到的内参矩阵，计算出两相机之间的初始旋转矩阵；

步骤六、根据重投影误差最小对所有相机之间的旋转矩阵进行全局优化，并用L-M算法更新参数得到最终的优化结果。

3.如权利要求2所述的基于多相机标定的全景拼接方法，其特征在于，所述步骤一中对每个相机分别进行内参标定具体包括：采用标定中常用张氏标定法，采集20幅处于不同位姿的棋盘格标定板图像，在每幅图像上进行角点检测，计算标定所用图像和棋盘格之间的单应变换H，利用棋盘格的几何关系，建立各视图图像中各角点的对应关系；棋盘格上的所有角点的空间坐标是满足共面约束的，假设其Z坐标为0，对单应性进行计算：

其中，u，v为角点的像素坐标，X，Y为角点在棋盘格上的空间坐标；将H进行分解，得到：

H＝sK[r₁ r₂ t]；

其中，r₁，r₂，t位棋盘的位置姿态，s为标量系数，K为相机的内参数矩阵；然后利用r₁和r₂的正交性求解K。

4.如权利要求2所述的基于多相机标定的全景拼接方法，其特征在于，所述步骤一中对每个相机求解其畸变系数，具体包括：用以全景拼接的相机镜头基本上为超广角镜头甚至鱼眼镜头，其图像存在严重的畸变失真，为了求解相机的畸变系数，假设相机成像模型为鱼眼模型；鱼眼相机成像时遵循的模型可以近似为单位球面投影模型，即第一步，三维空间点线性地投影到一个球面上，它是一个虚拟的单位球面，球心与相机坐标系的原点重合；第二步单位球面上的点投影到图像平面上；最常用的鱼眼相机模型为等距投影模型：

r＝fθ；

上述式子中，r表示鱼眼图像中点到畸变中心的距离，f是鱼眼相机的焦距，θ是入射光线与鱼眼相机光轴之间的夹角，即入射角；

为了方便鱼眼相机的标定，通常使用一种鱼眼相机的一般多项式近似模型；如下：

r_d＝fθ_d；

θ_d＝θ(1+k₁θ₂+k₂θ₄+k₃θ₆+k₄θ₈)；

最后利用棋盘格标定板的空间点到图像点之间的投影关系，使用L-M算法使得重投影误差最小来求解出相机的四个畸变系数。

5.如权利要求2所述的基于多相机标定的全景拼接方法，其特征在于，所述步骤二外参标定数据采集具体包括：每相邻的两个相机为一组，分别进行数据采集，在两相机的共同视野放置棋盘格标定板，捕获同一时刻不同位姿的棋盘格图片对15对；此步骤中应当注意的是两个相机所采集的图片中棋盘格是完整的。

6.如权利要求2所述的基于多相机标定的全景拼接方法，其特征在于，所述步骤三：对于安全距离较大的两个相邻相机A、B，在两相机之间置放第三相机C，分别对A、C相机和B、C相机同时采集不同位姿的完整的棋盘格图片20对。

7.如权利要求2所述的基于多相机标定的全景拼接方法，其特征在于，所述步骤四角点检测与匹配方法具体包括：A、B两个是相邻相机，A_i、B_i分别代表A、B相机在第i(i＝1，2，...，15)个时刻拍摄的棋盘格图片，分别将棋盘格图片进行角点检测，若某一时刻的棋盘格图片角点检测失败，则对A、B两相机都删除该时刻的图片；对于检测成功的棋盘格图片，按照采集时刻的顺序存储角点；最后A、B相机保存下来的角点按照棋盘格角点规则的分布可一一匹配。

8.如权利要求2所述的基于多相机标定的全景拼接方法，其特征在于，所述步骤五初始化图像单应变换矩阵的方法具体包括：为了比较准确的计算出两幅图像之间的单应矩阵，使用随机抽样一致性算法滤除外点，选择4对匹配特征点，使用直线线性变换的方法计算出图像之间的但应矩阵H，然后重复500次试验，选择出内点最大的解决方法，在像素误差范围内，预测结果与H是一致的；一组图像之间的特征点正确匹配的概率，即内点概率为p_i，n次试验后找到正确单应矩阵的概率为：

p＝1-(1-(p_i)^r)ⁿ；

找到正确的单应矩阵的概率是非常大的，对于内点概率p_i＝0.5，在500次试验后，未找到单应矩阵的概率为1×10^-14。

9.如权利要求2所述的基于多相机标定的全景拼接方法，其特征在于，所述步骤五相邻两相机之间的旋转矩阵R的计算方法具体包括：基于光心一致假设，以两个相机A、B为例，A相机坐标系为基准；将匹配点对的序列作为输入，计算单应矩阵H_AB，然后根据上述步骤中得到的内参矩阵计算得到旋转矩阵R；

对于围绕一个中心点的全景成像模型，所有相机以光心为原点，三维点坐标点为P＝[X，Y，Z]，其图像坐标x＝(x，y，1)，二者之间的关系可以表示为：

x～KRP+T；

在这里，K为上述计算得到内参矩阵，R是两个相机之间的旋转矩阵，假设平移矩阵T＝[0，0，0]^T；那么三维点与像素坐标的对应关系为：

P～R^-1K^-1x；

将两个相机A和B的之间透视变换矩阵H_AB定义为：

这里K_A为A相机内参矩阵，R_A为A相机相对于基准相机的旋转矩阵；推导可得，A、B两相机之间的旋转矩阵R_AB为：

对于A、B两个安全距离较大的相机，C相机作为A、B相机用来外参标定的辅助相机，分别对A、C相机和B、C相机采集外参标定的棋盘格数据，获取两两之间特征点匹配关系，按照上述步骤计算两两之间的旋转矩阵，那么最后A、B相机之间的关系表示为：

10.如权利要求2所述的基于多相机外参标定的全景拼接方法，其特征在于，所述步骤六对各参数捆绑调整进行全局优化具体包括：由使用重投影误差和最小作为目标函数；利用拼接参数K和R，将每个特征点投影到与它匹配的图像中，计算投影后的特征点与对应特征点的像素误差，使得这个误差值最小； 表示在图像i中第k个特征点的位置，目标函数表示为：

其中，表示点从图像j到图像i的投影，对应于第i辐图像中的点

误差函数为所有图像目标函数的误差总和，表示为：

其中，n是图像总数，I(i)表示与图像i相匹配的图像集合，f(i，j)表示图像i和图像j的特征匹配集合。