CN105654502B - 一种基于多镜头多传感器的全景相机标定装置和方法 - Google Patents

Abstract

本发明公开了一种基于多镜头多传感器的全景相机标定装置及使用本套装置进行标定的标定方法，涉及全景摄像领域，标定装置包括全景摄像模块、电机驱动模块、图像处理模块和图像显示模块，全景摄像模块包括支架、设置在支架上的多个镜头组和与多个传感器组，每个镜头组对应一个传感器组，镜头组中的每个镜头对应传感器组中的一个传感器，并且与该传感器相连；每个镜头组包括n个镜头，1≤n≤100，其中各个镜头组中镜头的位置排列相同，位于各个镜头组中同一个位置的镜头组成一个成像组，在每个成像组中，任意两个相邻的镜头在成像时有重叠区域。本发明可以克服目前全景相机标定对场景有较高要求的缺点，可以在较小的场景中对相机进行标定，并且可以借助标定靶，保证找到足够的特征点的同时，大大降低匹配算法的复杂度。

Description

一种基于多镜头多传感器的全景相机标定装置和方法

技术领域

本发明公开了一种全景相机标定装置，特别是一种基于多镜头多传感器的全景相机标定装置。

背景技术

采用全景拼接方式构建的拼接式全景摄像机，可以对场景同时实现大视场和高分辨率的拍摄。但是全景摄像机在投入使用之前需要进行标定，以估计摄像机内参、外参，确定各镜头间、以及空间物体表面某点在图像上的位置相互关系。。公开号CN103533266的专利公开了一种名为垂直方向宽视域的360度拼接式全景摄像机的技术方案，它包括若干个相同的竖直排列的图像传感器，传感器的型号、数量和相对位置根据全景拼接应用对视场大小的需求确定。它还提供了基于所述全景摄像机的标定方法和拼接方法，通过进行标定，将各路图像投影在同一平面上；再利用动态规划方法和梯度域融合方法完成全景图像的拼接。使用该专利的全景摄像机进行标定时，对标定场景有较高要求，首先标定区域要求空间比较充裕，其次要求标定场景拥有足够的特征点，再次对匹配算法的优越性也有较高要求。目前常用的标定装置，一般要求标定区域是以最小标定距离为半径的圆，通常最小标定距离大于10米，本发明公开的全景相机标定装置降低了对标定区域大小的要求，且保证能够找到足够的特征点，并减轻了算法的复杂度。本发明涉及的畸变校正方法和全局调整方法都是比较少见的。目前的全局调整方法大多是采用图像像素值差作为代价指标，本发明利用标定靶采用坐标差作为代价指标，在提高优化效果的同时，也降低了算法的复杂程度。另外，不同于一般的构建二维离散坐标映射表方法，本发明构建了两个一维离散坐标映射表，并采用n*n间隔和差分坐标值形式存储，大大减少存储空间，便于硬件实现。

发明内容

本发明公开了一种基于多镜头多传感器的全景相机标定装置，可以克服目前全景相机标定对场景有较高要求的缺点，可以在较小的场景中对相机进行标定，并且可以借助标定靶，保证找到足够的特征点的同时，大大降低匹配算法的复杂度。

本发明公开了一种基于多镜头多传感器的全景相机标定装置，包括全景摄像模块、电机驱动模块、图像处理模块和图像显示模块，全景摄像模块包括支架、设置在支架上的多个镜头组和多个传感器组，每个镜头组对应一个传感器组，镜头组中的每个镜头对应传感器组中的一个传感器，并且与该传感器相连；

每个镜头组包括n个镜头，2≤n≤100，其中各镜头组中镜头位置的排列方向、距离相同，位于每个镜头组中同一位置的镜头组成一个成像组，在每个成像组中，任意两个相邻的镜头在成像时有重叠区域，同一个成像组的各个镜头参数相同；

全景摄像组连接电机驱动模块，图像处理模块连接全景摄像模块,图像显示模块连接图像处理模块，电机驱动模块驱动支架平移和旋转，可以调整镜头方向，保证获取足够的特征点，减小标定所需要的区域大小。

优选的，全景摄像机模块设置为球面状态，支架为球面支架，每个镜头都设置在球面支架的外侧面，沿球面半径方向朝向球面的外侧，球面支架的球心和镜头中心点的连线与镜头光轴所成角度小于等于5°。设置为球面状态的全景摄像机模块，适用于720°的全景拍摄，可以取到所有角度的图像。

优选的，全景摄像机模块设置为柱面状态，支架为圆柱面支架，每个镜头都设置在圆柱面支架的侧面，沿圆柱侧面半径方向朝向圆柱面的外侧，且处于同一柱面高度，位于该高度的圆柱面支架横截面圆心和镜头中心点的连线与镜头光轴所成角度小于等于5°。设置为柱面状态的全景摄像模块，适用于360°的全景拍摄，可以取到全景相机四周的图像。

优选的，全景摄像机组设置为矩阵形态，支架为平面支架，每个都设于平面镜头架的一侧，镜头方向朝向平面的同一侧。设置为矩阵形态的全景摄像机模块，适用于面对一个方向的全景拍摄。

优选的，每组镜头包括两个镜头，组成两个成像组，分别模拟人体左眼和右眼成像，经过图像处理模块的处理，形成3D立体图像。

优选的，每组镜头包括多个镜头，组成多个成像组，每个成像组独立成像，经过图像处理模块的处理，可以将每个成像组形成的图像进行叠加，根据每个成像组镜头的设置，进而获得3D图像或热成像图像等。

优选的，成像组中，至少一组全部由普通光学镜头组成，保证标定可以顺利进行。

优选的，成像组包括两个分别模拟人体左眼和右眼的成像的成像组，将图像叠加后获得3D立体图。

优选的，镜头与支架转动连接，可以根据需要独立调整每个镜头在当前位置的角度。

优选的，图像处理模块为芯片或计算机；芯片安装在全景摄像模块的支架处，与传感器连接，进一步减小整个装置的体积，处理后将图像输出到外部图像显示模块。当使用计算机作为图像处理模块时，使用计算机软件进行处理，计算机外接于传感器。

优选的，全景相机标定装置还包括标定靶，标定靶的图案设置为黑白相间的棋盘格，棋盘格上设有定位标志。使用标定靶，可以保证标定时能够找到足够数量的、分布均匀的、足够精度且基本处于同一景深的特征点，而不受标定所处现实场景的影响。

优选的，全景相机标定装置包括多块标定靶，多块标定靶图案可以不完全一致，设置多块标定靶，可以进一步提高标定的成功率，并减少标定装置转动幅度。

一种全景相机标定方法，使用全景摄像机模块设置为球面状态的全景相机标定装置和标定靶进行标定，包括以下步骤：

(1)针对配置的标定靶，各镜头基本正对标定靶采集图像，进行畸变校正，选取径向畸变模型：

其中，

其中(x_s，y_s)是畸变校正前点坐标，(x_d，y_d)是畸变校正后点坐标，(x_cd，y_cd)是畸变中心点坐标，(k₁，k₂，k₃，…)是畸变参数；

先空间上的点投影到图像平面，再平面图像点扩展到畸变图像的点上，由于畸变点和空间点的关系为点和直线的关系，同时推导得到的空间点和畸变点映射关系也和基本矩阵一样，所以可以利用F矩阵求取极点的方法求取畸变中心；

利用无畸变图像三点共线对应的三点坐标构成的矩阵的行列式为0，求取畸变参数，假定畸变中心坐标已知，并将图像坐标系的原点置于畸变中心处，对于图像上共线的3点 p_i＝(x_i y_i)^T，r_i＝||(x_i y_i)||是3点距离畸变中心的长度，存在关系：

根据上述行列式，对于多组三点共线行列式，通过求解最小二乘问题来求取畸变参数；

(2)针对配置的标定靶，每两个相邻镜头的角平分线基本正对标定靶，且标定靶上的定位点处于两个镜头可视范围的重叠区域，完成全局调整图像采集工作，对于每一组图像，找出图像中标定靶的角点，并根据与定位点的位置关系，匹配好两张图像的角点，得到匹配点对，假定第i组的匹配点对为(p1i，p2i)，

选取球面投影模型：

其中(x_d，y_d)是球面投影前点坐标，(x_sp，y_sp)是球面投影后点坐标，r是球面投影半径，每镜头经过球面投影前，进行射影变换，以使得投影前平面图像能与假定半径为r的球面相切，切点坐标(x_cs，y_cs)是球面投影中心坐标。假定射影变换的单应性矩阵为H，从原图像到目标图像的总坐标映射为F()；

上述中的球面投影中心坐标(x_cs，y_cs)、球面投影半径r，单应性矩阵H即是全局调整所需优化的参数。结合成像组各镜头的姿态角(以其中一个镜头为基准)，这里可以采用Levenberg-Marquardt算法，以所有组匹配点对的坐标差的绝对值总和为代价指标，优化出所需参数：

(x_cs,y_cs,r,H)＝arg min∑abs(F(p1_i)-F(p2_i))

(3)将经过上述映射的投影图在YUV颜色空间上利用滤波器卷积分离出多个频段的图像，每两相邻的投影图在每个频段图像上采用渐入渐出或金字塔方式线性融合，得到球面拼接全景图像。

一种全景相机标定方法，使用全景摄像机模块设置为圆柱面状态的全景相机标定装置和标定靶进行标定，包括以下步骤：

(1)针对配置的标定靶，各镜头基本正对标定靶采集图像，进行畸变校正。选取径向畸变模型：

其中，

其中(x_s，y_s)是畸变校正前点坐标，(x_d，y_d)是畸变校正后点坐标，(x_cd，y_cd)是畸变中心点坐标，(k₁，k₂，k₃,…)是畸变参数；

先将空间上的点投影到图像平面，再将平面图像点扩展到畸变图像的点上，由于畸变点和空间点的关系为点和直线的关系，同时推导得到的空间点和畸变点映射关系也和基本矩阵一样，所以可以利用F矩阵求取极点的方法求取畸变中心；

利用无畸变图像三点共线对应的三点坐标构成的矩阵的行列式为0，求取畸变参数，假定畸变中心坐标已知，并将图像坐标系的原点置于畸变中心处，对于图像上共线的3点 p_i＝(x_i y_i)^T，r_i＝||(x_i y_i)||是3点距离畸变中心的长度，存在关系：

根据上述行列式，对于多组三点共线行列式，通过求解最小二乘问题来求取畸变参数；

(2)针对配置的标定靶，每两个相邻镜头的角平分线基本正对标定靶，且标定靶上的定位点处于两个镜头可视范围的重叠区域，完成全局调整图像采集工作，对于每一组图像，找出图像中标定靶的角点，并根据与定位点的位置关系，匹配好两张图像的角点，得到匹配点对，假定第i组的匹配点对为(p1i，p2i)，

选取柱面投影模型：

其中(x_d，y_d)是柱面投影前点坐标，(x_c，y_c)是柱面投影后点坐标，(x_cc，y_cc)是柱面投影中心坐标，r是柱面投影半径；

每镜头经过柱面投影后，进行射影变换，以配准对齐各相邻视角图像，假定该单应性矩阵为H，从原图像到目标图像的总坐标映射为F()；

上述中的柱面投影中心坐标(x_cc，y_cc)、柱面投影半径r，单应性矩阵H即是全局调整所需优化的参数，这里，可以采用Levenberg-Marquardt算法，以所有组匹配点对的坐标差的绝对值总和为代价指标，优化出所需参数：

(x_cc,y_cc,r,H)＝arg min∑abs(F(p1_i)-F(p2_i))

(3)将经过上述映射的投影图在YUV颜色空间上利用滤波器卷积分离出多个频段的图像，每两相邻的投影图在每个频段图像上采用渐入渐出或金字塔方式线性融合，得到柱面拼接全景图像。

一种全景相机标定方法，使用全景摄像机模块设置为矩阵状态的全景相机标定装置和标定靶进行标定，包括以下步骤：

(1)成像组挑选合适焦距的镜头，至少需要一个短焦距镜头，并且在较短距离开始，短焦距镜头视角范围包含其他长焦距的视角范围。如果有其他短焦距镜头，指定一个短焦距为主镜头。

(2)针对配置的标定靶，各镜头基本正对标定靶采集图像，进行畸变校正。选取径向畸变模型：

其中，

其中(x_s，y_s)是畸变校正前点坐标，(x_d，y_d)是畸变校正后点坐标，(x_cd，y_cd)是畸变中心点坐标，(k₁，k₂，k₃,…)是畸变参数。

先空间上的点投影到图像平面，再平面图像点扩展到畸变图像的点上。由于畸变点和空间点的关系为点和直线的关系，同时推导得到的空间点和畸变点映射关系也和基本矩阵一样。所以可以利用F矩阵求取极点的方法求取畸变中心。

利用无畸变图像三点共线对应的三点坐标构成的矩阵的行列式为0，求取畸变参数。假定畸变中心坐标已知，并将图像坐标系的原点置于畸变中心处，对于图像上共线的3点 p_i＝(x_i y_i)^T，r_i＝||(x_i y_i)||是3点距离畸变中心的长度，存在关系：

根据上述行列式，对于多组三点共线行列式，通过求解最小二乘问题来求取畸变参数。

(3)布置一个垂直于主镜头光轴方向的标定靶，主镜头及其他任意一个镜头共同采集一组图像，获取每一组的匹配点对。

(4)基于主镜头所在图像平面，计算其他镜头到主镜头的单应性矩阵H。

(5)布置一个远距离的标定靶或外场景，主镜头及其他任意一个镜头共同采集一组图像，获取每一组的匹配点对。通过最小二乘法求解其他镜头图像与主镜头图像的平移参数。

(6)基于主镜头图像坐标系，各镜头投影图已经配准。假若其他镜头存在两两相邻，可以由其投影图在YUV颜色空间上利用滤波器卷积分离出多个频段的图像，并在各个频段图像上采用渐入渐出线性融合，得到平面拼接图像。假若其他镜头不全两两相邻，可以由其投影图跟主镜头投影图在YUV颜色空间上建立拉普拉斯金字塔，分别对高、低频金字塔进行线性融合，得到平面拼接图像。

优选的，使用全景摄像机模块设置为球面状态的全景相机标定装置和标定靶进行标定，球面拼接结果图像还支持其他投影显示方式：球心投影显示方式，球极投影显示方式，正射投影显示方式：

(1)球心投影显示方式模型：

其中(λ,φ)是投影前点坐标(分别代表纬度和经度)，(x,y)是投影后点坐标，λ₀是投影中心纬度，φ₀是投影中心经度。

(2)球极投影显示方式模型：

其中(λ,φ)是投影前点坐标(分别代表纬度和经度)，(x,y)是投影后点坐标，λ₀是投影中心纬度，φ₀是投影中心经度，R是球半径。

(3)正射投影显示方式模型：

其中(λ,φ)是投影前点坐标(分别代表纬度和经度)，(x,y)是投影后点坐标，λ₀是投影中心纬度，φ₀是投影中心经度。

优选的，使用全景摄像机模块设置为圆柱面状态的全景相机标定装置和标定靶进行标定，柱面拼接结果图像还支持其他投影显示方式：柱心投影显示方式，正射投影显示方式：

(1)柱心投影显示方式模型：

其中(x₁，y₁)是投影前柱面点坐标，(x₂，y₂)是投影后平面点坐标，(x_c，y_c)是投影中心点坐标，r是柱面半径；

(2)正射投影显示方式模型：

其中(x₁，y₁)是投影前柱面点坐标，(x₂，y₂)是投影后平面点坐标，(x_c，y_c)是投影中心点坐标，r是柱面半径。

优选的，使用全景摄像机模块设置为矩阵状态的全景相机标定装置和标定靶进行标定，可用于测距的任意角度放置的镜头组标定包括以下步骤：

(1)完成畸变校正；

(2)镜头组标定估计镜头组参数：a)拍摄1张图像并在图像内部放置2～3个不同角度的棋盘格，或拍摄4～20张图像不同角度放置的相同棋盘格，并进行棋盘格找点和匹配；b)已知棋盘格长度，利用张正友标定方法估计左镜头内参K1,R1,T1，估计右镜头内参 K2,R2,T2；c)计算外部参数R,T，并利用理想棋盘格的重投影误差最小、平面的不平整度、棋盘格对应点的3维长度进行联合优化，可以采用Levenberg-Marquardt算法；

(3)利用镜头组参数进行三维的真实旋转估计用于PT的两个H矩阵；

(4)读入新棋盘格图像验证图像经过PT后不存在y方向的视差；

(5)用平行放置且已知深度的图像来验证测距和三维长度测量的效果；

其中PT为projective transform投影变换。

优选的，根据标定的总映射关系，得到全景相机映射后图像点的坐标与原始输入图像的点坐标之间的对应关系，构建两个一维离散坐标映射表Xrela、Yrela，具体过程如下：

目标图的所有列Lcol经过总映射关系，投影到原始图上的线Lcol’，与原始图的所有行相交的所有交点的横坐标集，定义为Xfloat表；

目标图的所有点坐标经过总映射关系，投影到原始图上的点坐标的纵坐标集，定义为 Yfloat表；

简单地，原始图先经过Xfloat表对每一行进行插值计算，再经过Yfloat表对每一列进行插值计算，即可得到满足总映射关系的目标图；

Xfloat、Yfloat表通常是浮点数，将其定点化Xint、Yint表，假设精度是accu比特：

Xint、Yint表是整型全表，以n*n间隔取表中数据保留，生成Xsmall、Ysmall整型小表：

对于Xsmall小表，保留第一列的数值，其他列以当前列跟左一列的差分值代替，对于 Ysmall小表，保留第一行的数值，其他行以当前行跟上一行的差分值代替。相对表Xrela、 Yrela的第i行第j列位置的数据计算如下：

上述对Xfloat、Yfloat表，Xint、Yint表以及Xrela、Yrela表的每一步操作都是可逆的。

优选的，针对球面形态全景相机标定后包含北极点和南极点的图像，划分四个三角形分别地构建两个一维离散坐标映射表，其中四个三角形以北极点或南极点与其所在图像四个顶点的连线划分。

本发明的有益效果是：大大减少标定场景空间，将最小标定距离减小到1～2米之间，并且能确保每组相邻图像的重叠区域都能找到足够数量的、分布均匀的、足够精度的、基本处于同一景深的特征点，而不受标定所处现实场景的影响。另外，由于标定靶的存在，不需很复杂的特征点匹配算法就可以基本保证全部特征点匹配正确。标定过程应是全自动的，无须人工干预。本发明利用标定靶采用坐标差作为代价指标，在提高优化效果的同时，也降低了算法的复杂程度。另外，不同于一般的构建二维离散坐标映射表方法，本发明构建了两个一维离散坐标映射表，并采用n*n间隔和差分坐标值形式存储，大大减少存储空间，便于硬件实现。

附图说明

图1为本装置标定状态的示意图；

图2为柱面状态全景摄像机模块的示意图；

图3为球面状态全景摄像机模块的示意图；

图4为矩阵状态全景摄像机模块的示意图；

图5为本发明第一种标定靶的示意图；

图6为本发明第二种标定靶的示意图；

图7为本发明双目摄像机标定流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明：

本发明公开了一种基于多镜头多传感器的全景相机标定装置，可以克服目前全景相机标定对场景有较高要求的缺点，可以在较小的场景中对相机进行标定，并且可以借助标定靶，保证找到足够的特征点的同时，大大降低匹配算法的复杂度。

如图1所示，本发明公开了一种基于多镜头多传感器的全景相机标定装置，包括全景摄像模块1、电机驱动模块2、图像显示模块3，图像处理模块4和标定靶5。全景摄像模块1包括支架11、设置在支架上的多个镜头组12和与多个传感器组13，每个镜头组12对应一个传感器组13，镜头组中的每个镜头对应传感器组中的一个传感器，并且与该传感器相连；

如图1和图2所示，每个镜头组包括两个镜头，每个摄像头对应一个传感器，如图2中第一个镜头组包括121a和121b两个镜头，分别对应传感器131a和131b，第二个镜头组包括122a和122b两个镜头，分别对应传感器132a和132b。每个镜头组中镜头的位置排列相同，每个镜头组中位于同一个位置的镜头组成一个成像组，即121a与122a属于一个成像组，121b与122b属于一个成像组。在每个成像组中，每两个相邻的镜头在成像时有重叠区域，即121a与122a成像区域有重叠，121b与122b成像区域有重叠。

全景摄像组1连接电机驱动模块2，图像处理模块4连接全景摄像模块1,图像显示模块3连接图像处理模块4，电机驱动模块驱动支架11平移和旋转。

进行标定时，第一步，电机驱动模块驱动全景摄像模块支架调整位置和角度，使每个镜头都基本正对标定靶进行一次拍摄，根据每次转动后全景摄像模块的姿态角，即每次采集到的图像，完成畸变校正图像采集工作；第二步，调整全景摄像机模块支架，进行两两相邻镜头对靶工作，使每两个相邻镜头的角平分线基本正对标定靶，且标定靶上的定位点处于两个镜头可视范围的重叠区域，根据每次采集的图像及全景摄像模块的姿态角，完成全局调整优化。

如图2所示，在本发明的一个实施例中，全景摄像机模块设置为柱面状态，柱面形态指支架11设置为圆柱面，每个镜头都设置在所述圆柱面支架的侧面，沿圆柱侧面半径方向朝向球面的外侧，且处于同一柱面高度，镜头光轴与圆柱侧面半径所成角度小于等于5°，设置为柱面状态的全景摄像机模块，适用于360°的全景拍摄，可以取到全景相机四周的图像。

如图3所示，在本发明的一个实施例中，全景摄像机模块设置为球面状态，球面形态指支架11设置为球面，每个镜头组12都设置在所述球面支架的外侧面，沿球面半径方向朝向球面的外侧，镜头光轴与球面半径所成角度小于等于5°，设置为球面状态的全景摄像机模块，适用于720°的全景拍摄，可以取到所有角度的图像，每个镜头组12对应一个传感器组13。

如图4所示，在本发明的一个实施例中，全景摄像机组设置为矩阵形态，矩阵形态指支架11设置为平面，每个镜头组12都设于平面镜头架的一侧，镜头方向朝向平面的同一侧，设置为矩阵形态的全景摄像机模块，适用于面对一个方向的全景拍摄，每个镜头组12对应一个传感器组13。

在本发明的一个实施例中，每组镜头包括一个镜头，全景摄像模块形成一个成像组。

在本发明的一个实施例中，每组镜头包括两个镜头，分别模拟形成人体左眼和右眼视场，经过图像处理模块的处理，将两个镜头采集的图像叠加，获得3D立体图像。

在本发明的一个实施例中，全景摄像模块还包括一个由红外热传感镜头组成的成像组，经过图像处理模块的处理，获得热成像图像。

在本发明的一个实施例中，每组镜头包括多个镜头，每组镜头中镜头的位置排列相同，每组镜头中位于同一个位置的镜头组成一个成像组，在成像组中，每两个相邻的镜头在成像时有重叠区域；当每组镜头包括多个镜头时，镜头包括普通成像镜头和红外热成像镜头，分别形成普通成像组和红外成像组，每个成像组独立成像，经过图像处理模块的处理，可以将每个成像组形成的图像进行叠加，获得热成像图像。

在本发明设置的一个或多个成像组中，至少一组全部由普通成像镜头组成，保证标定可以顺利进行。

在本发明的一个实施例中，镜头与支架转动连接，可以根据需要独立调整每个镜头在当前位置的角度。

在本发明的一个实施例中，图像处理模块为芯片或计算机；芯片安装在全景摄像模块的支架处，与图像采集模块和电机驱动模块连接，进一步减小整个装置的体积，处理后将图像输出到外部图像显示模块。当使用计算机作为图像处理模块时，使用计算机软件进行处理，计算机外接于图像采集模块。

如图1所示，在本发明的一个实施例中，全景相机标定装置还包括标定靶5，标定靶5 的图案设置为黑白相间的棋盘格，棋盘格上设有定位标志51。使用标定靶，可以保证标定时能够找到足够数量的、分布均匀的、足够精度且基本处于同一景深的特征点，而不受标定所处现实场景的影响。

如图5和图6所示，在本发明的一个实施例中，全景相机标定装置包括多块标定靶，多块标定靶图案可以不完全一致，但是都包括一个定位标志51，设置多块标定靶，可以进一步提高标定的成功率，并减少标定装置转动幅度。

本发明还公开了一种全景相机标定方法，使用全景摄像机模块设置为球面状态的全景相机标定装置和标定靶进行标定，包括以下步骤：

(1)针对配置的标定靶，各镜头基本正对标定靶采集图像，进行畸变校正，选取径向畸变模型：

其中，

其中(x_s，y_s)是畸变校正前点坐标，(x_d，y_d)是畸变校正后点坐标，(x_cd，y_cd)是畸变中心点坐标，(k₁，k₂，k₃，…)是畸变参数；

先空间上的点投影到图像平面，再平面图像点扩展到畸变图像的点上，由于畸变点和空间点的关系为点和直线的关系，同时推导得到的空间点和畸变点映射关系也和基本矩阵一样。所以可以利用F矩阵求取极点的方法求取畸变中心；

利用无畸变图像三点共线对应的三点坐标构成的矩阵的行列式为0，求取畸变参数，假定畸变中心坐标已知，并将图像坐标系的原点置于畸变中心处，对于图像上共线的3点 p_i＝(x_i y_i)^T，r_i＝||(x_i y_i)||是3点距离畸变中心的长度，存在关系：

根据上述行列式，对于多组三点共线行列式，通过求解最小二乘问题来求取畸变参数；

(2)针对配置的标定靶，每两个相邻镜头的角平分线基本正对标定靶，且标定靶上的定位点处于两个镜头可视范围的重叠区域，完成全局调整图像采集工作，对于每一组图像，找出图像中标定靶的角点，并根据与定位点的位置关系，匹配好两张图像的角点，得到匹配点对，假定第i组的匹配点对为(p1i，p2i)，

选取球面投影模型：

其中(x_d，y_d)是球面投影前点坐标，(x_sp，y_sp)是球面投影后点坐标，r是球面投影半径，每镜头经过球面投影前，进行射影变换，以使得投影前平面图像能与假定半径为r的球面相切，切点坐标(x_cs，y_cs)是球面投影中心坐标。假定射影变换的单应性矩阵为H，从原图像到目标图像的总坐标映射为F()；

上述中的球面投影中心坐标(x_cs，y_cs)、球面投影半径r，单应性矩阵H即是全局调整所需优化的参数。结合成像组各镜头的姿态角(以其中一个镜头为基准)，这里可以采用Levenberg-Marquardt算法，以所有组匹配点对的坐标差的绝对值总和为代价指标，优化出所需参数：

(x_cs,y_cs,r,H)＝arg min∑abs(F(p1_i)-F(p2_i))

(3)将经过上述映射的投影图在YUV颜色空间上利用滤波器卷积分离出多个频段的图像，每两相邻的投影图在每个频段图像上采用渐入渐出或金字塔方式线性融合，得到球面拼接全景图像。

本发明还公开了一种使用全景摄像机模块设置为圆柱面状态的全景相机标定装置和标定靶进行标定的全景相机标定方法，包括以下步骤：

(1)针对配置的标定靶，各镜头基本正对标定靶采集图像，进行畸变校正。选取径向畸变模型：

其中，

其中(x_s，y_s)是畸变校正前点坐标，(x_d，y_d)是畸变校正后点坐标，(x_cd，y_cd)是畸变中心点坐标，(k₁，k₂，k₃,…)是畸变参数；

先将空间上的点投影到图像平面，再将平面图像点扩展到畸变图像的点上，由于畸变点和空间点的关系为点和直线的关系，同时推导得到的空间点和畸变点映射关系也和基本矩阵一样，所以可以利用F矩阵求取极点的方法求取畸变中心；

利用无畸变图像三点共线对应的三点坐标构成的矩阵的行列式为0，求取畸变参数，假定畸变中心坐标已知，并将图像坐标系的原点置于畸变中心处，对于图像上共线的3点 p_i＝(x_i y_i)^T，r_i＝‖(x_i y_i)||是3点距离畸变中心的长度，存在关系：

根据上述行列式，对于多组三点共线行列式，通过求解最小二乘问题来求取畸变参数；

(2)针对配置的标定靶，每两个相邻镜头的角平分线基本正对标定靶，且标定靶上的定位点处于两个镜头可视范围的重叠区域，完成全局调整图像采集工作，对于每一组图像，找出图像中标定靶的角点，并根据与定位点的位置关系，匹配好两张图像的角点，得到匹配点对，假定第i组的匹配点对为(p1i，p2i)，

选取柱面投影模型：

其中(x_d，y_d)是柱面投影前点坐标，(x_c，y_c)是柱面投影后点坐标，(x_cc，y_cc)是柱面投影中心坐标，r是柱面投影半径；

每镜头经过柱面投影后，进行射影变换，以配准对齐各相邻视角图像，假定该单应性矩阵为H，从原图像到目标图像的总坐标映射为F()；

上述中的柱面投影中心坐标(xcc,ycc)、柱面投影半径r，单应性矩阵H即是全局调整所需优化的参数，这里，可以采用Levenberg-Marquardt算法，以所有组匹配点对的坐标差的绝对值总和为代价指标，优化出所需参数：

(x_cc,y_cc,r,H)＝arg min∑abs(F(p1_i)-F(p2_i))

(3)将经过上述映射的投影图在YUV颜色空间上利用滤波器卷积分离出多个频段的图像，每两相邻的投影图在每个频段图像上采用渐入渐出或金字塔方式线性融合，得到柱面拼接全景图像。

本发明还公开了一种使用全景摄像机模块设置为矩阵状态的全景相机标定装置和标定靶进行标定的全景相机标定方法，，包括以下步骤：

(1)成像组挑选合适焦距的镜头，至少需要一个短焦距镜头，并且在较短距离开始，短焦距镜头视角范围包含其他长焦距的视角范围。如果有其他短焦距镜头，指定一个短焦距为主镜头。

(2)针对配置的标定靶，各镜头基本正对标定靶采集图像，进行畸变校正。选取径向畸变模型：

其中，

其中(x_s，y_s)是畸变校正前点坐标，(x_d，y_d)是畸变校正后点坐标，(x_cd，y_cd)是畸变中心点坐标，(k₁，k₂，k₃,…)是畸变参数。

先空间上的点投影到图像平面，再平面图像点扩展到畸变图像的点上。由于畸变点和空间点的关系为点和直线的关系，同时推导得到的空间点和畸变点映射关系也和基本矩阵一样。所以可以利用F矩阵求取极点的方法求取畸变中心。

利用无畸变图像三点共线对应的三点坐标构成的矩阵的行列式为0，求取畸变参数。假定畸变中心坐标已知，并将图像坐标系的原点置于畸变中心处，对于图像上共线的3点 p_i＝(x_i y_i)^T，r_i＝||(x_i y_i)||是3点距离畸变中心的长度，存在关系：

根据上述行列式，对于多组三点共线行列式，通过求解最小二乘问题来求取畸变参数。

(3)布置一个垂直于主镜头光轴方向的标定靶，主镜头及其他任意一个镜头共同采集一组图像，获取每一组的匹配点对。

(4)基于主镜头所在图像平面，计算其他镜头到主镜头的单应性矩阵H。

(5)布置一个远距离的标定靶或外场景，主镜头及其他任意一个镜头共同采集一组图像，获取每一组的匹配点对。通过最小二乘法求解其他镜头图像与主镜头图像的平移参数。

(6)基于主镜头图像坐标系，各镜头投影图已经配准。假若其他镜头存在两两相邻，可以由其投影图在YUV颜色空间上利用滤波器卷积分离出多个频段的图像，并在各个频段图像上采用渐入渐出线性融合，得到平面拼接图像。假若其他镜头不全两两相邻，可以由其投影图跟主镜头投影图在YUV颜色空间上建立拉普拉斯金字塔，分别对高、低频金字塔进行线性融合，得到平面拼接图像。

优选的，使用全景摄像机模块设置为球面状态的全景相机标定装置和标定靶进行标定，球面拼接结果图像还支持其他投影显示方式：球心投影显示方式，球极投影显示方式，正射投影显示方式：

(1)球心投影显示方式模型：

其中(λ,φ)是投影前点坐标(分别代表纬度和经度)，(x,y)是投影后点坐标，λ₀是投影中心纬度，φ₀是投影中心经度。

(2)球极投影显示方式模型：

其中(λ,φ)是投影前点坐标(分别代表纬度和经度)，(x,y)是投影后点坐标，λ₀是投影中心纬度，φ₀是投影中心经度，R是球半径。

(3)正射投影显示方式模型：

其中(λ,φ)是投影前点坐标(分别代表纬度和经度)，(x,y)是投影后点坐标，λ₀是投影中心纬度，φ₀是投影中心经度。

优选的，使用全景摄像机模块设置为圆柱面状态的全景相机标定装置和标定靶进行标定，柱面拼接结果图像还支持其他投影显示方式：柱心投影显示方式，正射投影显示方式：

(1)柱心投影显示方式模型：

其中(x₁，y₁)是投影前柱面点坐标，(x₂，y₂)是投影后平面点坐标，(x_c，y_c)是投影中心点坐标，r是柱面半径；

(2)正射投影显示方式模型：

其中(x₁，y₁)是投影前柱面点坐标，(x₂，y₂)是投影后平面点坐标，(x_c，y_c)是投影中心点坐标，r是柱面半径。

如图7所示，在本发明的一个实施例中，使用全景摄像机模块设置为矩阵状态的全景相机标定装置和标定靶进行标定，可用于测距的任意角度放置的镜头组标定包括以下步骤：

(1)完成畸变校正；

(2)镜头组标定估计镜头组参数：a)拍摄1张图像并在图像内部放置2～3个不同角度的棋盘格，或拍摄4～20张图像不同角度放置的相同棋盘格，并进行棋盘格找点和匹配；b)已知棋盘格长度，利用张正友标定方法估计左镜头内参K1,R1,T1，估计右镜头内参 K2,R2,T2；c)计算外部参数R,T，并利用理想棋盘格的重投影误差最小、平面的不平整度、棋盘格对应点的3维长度进行联合优化，可以采用Levenberg-Marquardt算法；

(3)利用镜头组参数进行三维的真实旋转估计用于PT的两个H矩阵；

(4)读入新棋盘格图像验证图像经过PT后不存在y方向的视差；

(5)用平行放置且已知深度的图像来验证测距和三维长度测量的效果。

优选的，根据标定的总映射关系，得到全景相机映射后图像点的坐标与原始输入图像的点坐标之间的对应关系，构建两个一维离散坐标映射表Xrela、Yrela，具体过程如下：

目标图的所有列Lcol经过总映射关系，投影到原始图上的线Lcol’，与原始图的所有行相交的所有交点的横坐标集，定义为Xfloat表；

目标图的所有点坐标经过总映射关系，投影到原始图上的点坐标的纵坐标集，定义为 Yfloat表；

简单地，原始图先经过Xfloat表对每一行进行插值计算，再经过Yfloat表对每一列进行插值计算，即可得到满足总映射关系的目标图；

Xfloat、Yfloat表通常是浮点数，将其定点化Xint、Yint表，假设精度是accu比特：

Xint、Yint表是整型全表，以n*n间隔取表中数据保留，生成Xsmall、Ysmall整型小表：

对于Xsmall小表，保留第一列的数值，其他列以当前列跟左一列的差分值代替，对于 Ysmall小表，保留第一行的数值，其他行以当前行跟上一行的差分值代替。相对表Xrela、 Yrela的第i行第j列位置的数据计算如下：

上述对Xfloat、Yfloat表，Xint、Yint表以及Xrela、Yrela表的每一步操作都是可逆的。

在本发明的一个实施例中，针对球面形态全景相机标定后包含北极点和南极点的图像，划分四个三角形分别地构建两个一维离散坐标映射表，其中四个三角形以北极点或南极点与其所在图像四个顶点的连线划分。

根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。

Claims (17)

1.一种基于多镜头多传感器的全景相机标定装置，包括全景摄像模块、驱动模块、图像处理模块和图像显示模块，其特征在于：所述全景摄像模块包括支架、设置在支架上的多个镜头组和多个传感器组，每个镜头组对应一个传感器组，镜头组中的每个镜头对应传感器组中的一个传感器，并且与该传感器相连；

每个镜头组包括n个镜头，2≤n≤100，其中各镜头组中镜头位置的排列方向、距离相同，位于每个镜头组中同一位置的镜头组成一个成像组，在每个成像组中，任意两个相邻的镜头在成像时有重叠区域，同一个成像组的各个镜头参数相同；

所述图像处理模块连接全景摄像模块,图像显示模块连接图像处理模块，驱动模块连接支架，并驱动支架平移和旋转；

任意角度放置的镜头组标定包括以下步骤：

(1)完成畸变校正；

(2)估计镜头组参数：a)拍摄1张图像并在图像内部放置2～3个不同角度的棋盘格，或拍摄4～20张图像不同角度放置的相同棋盘格，并进行棋盘格找点和匹配；b)已知棋盘格长度，利用张正友标定方法估计左镜头内参K1,R1,T1，估计右镜头内参K2,R2,T2；c)计算外部参数R,T，并利用理想棋盘格的重投影误差最小、平面的不平整度、棋盘格对应点的3维长度进行联合优化，采用Levenberg-Marquardt算法；

(3)利用镜头组参数进行三维的真实旋转估计用于PT的两个H矩阵；

(4)读入新棋盘格图像验证图像经过PT后不存在y方向的视差；

(5)用平行放置且已知深度的图像来验证测距和三维长度测量的效果；

其中PT为projective transform投影变换。

2.根据权利要求1所述的基于多镜头多传感器的全景相机标定装置，其特征在于：所述全景摄像机模块设置为球面状态，所述支架为球面支架，每个镜头都设置在所述球面支架的外侧面，沿球面半径方向朝向球面的外侧，球面支架的球心和镜头中心点的连线与镜头光轴所成角度小于等于5°。

3.根据权利要求1所述的基于多镜头多传感器的全景相机标定装置，其特征在于：所述全景摄像机模块设置为柱面状态，支架为圆柱面支架，每个镜头都设置在所述圆柱面支架的侧面，沿圆柱侧面半径方向朝向圆柱面的外侧，且处于同一柱面高度，位于该高度的圆柱面支架横截面圆心和镜头中心点的连线与镜头光轴所成角度小于等于5°。

4.根据权利要求1所述的基于多镜头多传感器的全景相机标定装置，其特征在于：所述全景摄像机组设置为矩阵形态，支架为平面支架，每个都设于平面镜头架的一侧，镜头方向朝向平面的同一侧。

5.根据权利要求1-4任一项所述的基于多镜头多传感器的全景相机标定装置，其特征在于：所述镜头组，每组镜头包括两个镜头，分别模拟人体左眼和右眼成像。

6.根据权利要求1-4任一项所述的基于多镜头多传感器的全景相机标定装置，其特征在于：所述成像组中，至少一组全部由普通光学镜头组成。

7.根据权利要求1-4任一项所述的基于多镜头多传感器的全景相机标定装置，其特征在于：所述镜头与支架转动连接。

8.根据权利要求1-4任一项所述的基于多镜头多传感器的全景相机标定装置，其特征在于：所述图像处理模块为芯片或计算机；芯片安装在所述全景摄像模块的支架处，与传感器连接，计算机外接于传感器。

9.根据权利要求1-4任一项所述的基于多镜头多传感器的全景相机标定装置，其特征在于：还包括一块或多块独立配置的标定靶，标定靶的图案设置为黑白相间的棋盘格，棋盘格上设有定位标志。

10.一种使用权利要求1,2或9所述的全景相机标定装置进行标定的全景相机标定方法，其特征在于：包括以下步骤：

(1)针对配置的标定靶，各镜头基本正对标定靶采集图像，进行畸变校正，选取径向畸变模型：

其中，

其中(x_s，y_s)是畸变校正前点坐标，(x_d，y_d)是畸变校正后点坐标，(x_cd，y_cd)是畸变中心点坐标，(k₁，k₂，k₃，…)是畸变参数；

先空间上的点投影到图像平面，再平面图像点扩展到畸变图像的点上，由于畸变点和空间点的关系为点和直线的关系，同时推导得到的空间点和畸变点映射关系也和基本矩阵一样，所以可以利用F矩阵求取极点的方法求取畸变中心；

利用无畸变图像三点共线对应的三点坐标构成的矩阵的行列式为0，求取畸变参数，假定畸变中心坐标已知，并将图像坐标系的原点置于畸变中心处，对于图像上共线的3点p_i＝(x_i y_i)^T，r_i＝||(x_i y_i)||是3点距离畸变中心的长度，存在关系：

根据上述行列式，对于多组三点共线行列式，通过求解最小二乘问题来求取畸变参数；(2)针对配置的标定靶，每两个相邻镜头的角平分线基本正对标定靶，且标定靶上的定位点处于两个镜头可视范围的重叠区域，完成全局调整图像采集工作，对于每一组图像，找出图像中标定靶的角点，并根据与定位点的位置关系，匹配好两张图像的角点，得到匹配点对，假定第i组的匹配点对为(p1_i,p2_i),

选取球面投影模型：

其中(x_d，y_d)是球面投影前点坐标，(x_sp，y_sp)是球面投影后点坐标，r是球面投影半径，每一个镜头经过球面投影前，进行射影变换，以使得投影前平面图像能与假定半径为r的球面相切，切点坐标(x_cs，y_cs)是球面投影中心坐标，假定射影变换的单应性矩阵为H，从原图像到目标图像的总坐标映射为F()；

上述中的球面投影中心坐标(x_cs，y_cs)、球面投影半径r，单应性矩阵H即是全局调整所需优化的参数，结合成像组各镜头的姿态角，这里采用Levenberg-Marquardt算法，以所有组匹配点对的坐标差的绝对值总和为代价指标，优化出所需参数：

(x_cs,y_cs,r,H)＝argmin∑abs(F(p1_i)-F(p2_i))

(3)将经过上述映射的投影图在YUV颜色空间上利用滤波器卷积分离出多个频段的图像，每两相邻的投影图在每个频段图像上采用渐入渐出或金字塔方式线性融合，得到球面拼接全景图像。

11.一种使用权利要求1,3或9所述的全景相机标定装置进行标定的全景相机标定方法，其特征在于：包括以下步骤：

(1)针对配置的标定靶，各镜头基本正对标定靶采集图像，进行畸变校正，选取径向畸变模型：

其中，

其中(x_s，y_s)是畸变校正前点坐标，(x_d，y_d)是畸变校正后点坐标，(x_cd，y_cd)是畸变中心点坐标，(k₁，k₂，k₃,…)是畸变参数；

先将空间上的点投影到图像平面，再将平面图像点扩展到畸变图像的点上，由于畸变点和空间点的关系为点和直线的关系，同时推导得到的空间点和畸变点映射关系也和基本矩阵一样，所以可以利用F矩阵求取极点的方法求取畸变中心；

利用无畸变图像三点共线对应的三点坐标构成的矩阵的行列式为0，求取畸变参数，假定畸变中心坐标已知，并将图像坐标系的原点置于畸变中心处，对于图像上共线的3点p_i＝(x_i y_i)^T，r_i＝||(x_i y_i)||是3点距离畸变中心的长度，存在关系：

根据上述行列式，对于多组三点共线行列式，通过求解最小二乘问题来求取畸变参数；(2)针对配置的标定靶，每两个相邻镜头的角平分线基本正对标定靶，且标定靶上的定位点处于两个镜头可视范围的重叠区域，完成全局调整图像采集工作，对于每一组图像，找出图像中标定靶的角点，并根据与定位点的位置关系，匹配好两张图像的角点，得到匹配点对，假定第i组的匹配点对为(p1_i，p2_i)，

选取柱面投影模型：

其中(x_d，y_d)是柱面投影前点坐标，(x_c，y_c)是柱面投影后点坐标，(x_cc，y_cc)是柱面投影中心坐标，r是柱面投影半径；

每一个镜头经过柱面投影后，进行射影变换，以配准对齐各相邻视角图像，假定射影变换的单应性矩阵为H，从原图像到目标图像的总坐标映射为F()；

上述中的柱面投影中心坐标(x_cc，y_cc)、柱面投影半径r，单应性矩阵H即是全局调整所需优化的参数，这里，采用Levenberg-Marquardt算法，以所有组匹配点对的坐标差的绝对值总和为代价指标，优化出所需参数：

(x_cc,y_cc,r,H)＝argmin∑abs(F(p1_i)-F(p2_i))

(3)将经过上述映射的投影图在YUV颜色空间上利用滤波器卷积分离出多个频段的图像，每两相邻的投影图在每个频段图像上采用渐入渐出或金字塔方式线性融合，得到柱面拼接全景图像。

12.一种使用权利要求1,4或9所述的全景相机标定装置进行标定的全景相机标定方法，其特征在于：包括以下步骤：

(1)成像组挑选合适焦距的镜头，至少需要一个短焦距镜头，并且在较短距离开始，短焦距镜头视角范围包含其他长焦距的视角范围，如果有其他短焦距镜头，指定一个短焦距为主镜头，

(2)针对配置的标定靶，各镜头基本正对标定靶采集图像，进行畸变校正，选取径向畸变模型：

其中，

其中(x_s，y_s)是畸变校正前点坐标，(x_d，y_d)是畸变校正后点坐标，(x_cd，x_cd)是畸变中心点坐标，(k₁，k₂，k₃,…)是畸变参数，

先空间上的点投影到图像平面，再平面图像点扩展到畸变图像的点上，由于畸变点和空间点的关系为点和直线的关系，同时推导得到的空间点和畸变点映射关系也和基本矩阵一样，利用F矩阵求取极点的方法求取畸变中心，

利用无畸变图像三点共线对应的三点坐标构成的矩阵的行列式为0，求取畸变参数，假定畸变中心坐标已知，并将图像坐标系的原点置于畸变中心处，对于图像上共线的3点p_i＝(x_i y_i)^T，r_i＝||(x_i y_i)||是3点距离畸变中心的长度，存在关系：

根据上述行列式，对于多组三点共线行列式，通过求解最小二乘问题来求取畸变参数，

(3)布置一个垂直于主镜头光轴方向的标定靶，主镜头及其他任意一个镜头共同采集一组图像，获取每一组的匹配点对；

(4)基于主镜头所在图像平面，计算其他镜头到主镜头的单应性矩阵H；

(5)布置一个远距离的标定靶或外场景，主镜头及其他任意一个镜头共同采集一组图像，获取每一组的匹配点对，通过最小二乘法求解其他镜头图像与主镜头图像的平移参数；

(6)基于主镜头图像坐标系，各镜头投影图已经配准，假若其他镜头存在两两相邻，由其投影图在YUV颜色空间上利用滤波器卷积分离出多个频段的图像，并在各个频段图像上采用渐入渐出线性融合，得到平面拼接图像，假若其他镜头不全两两相邻，则由其投影图跟主镜头投影图在YUV颜色空间上建立拉普拉斯金字塔，分别对高、低频金字塔进行线性融合，得到平面拼接图像。

13.根据权利要求10所述的全景相机标定方法，其特征在于:球面拼接结果图像还支持其他投影显示方式：球心投影显示方式，球极投影显示方式，正射投影显示方式：

(1)球心投影显示方式模型：

其中(λ,φ)是投影前点坐标，λ,φ分别代表纬度和经度，(x,y)是投影后点坐标，λ₀是投影中心纬度，φ₀是投影中心经度；

(2)球极投影显示方式模型：

其中(λ,φ)是投影前点坐标，λ,φ分别代表纬度和经度，(x,y)是投影后点坐标，λ₀是投影中心纬度，φ₀是投影中心经度，R是球半径；

(3)正射投影显示方式模型：

其中(λ,φ)是投影前点坐标，λ,φ分别代表纬度和经度，(x,y)是投影后点坐标，λ₀是投影中心纬度，φ₀是投影中心经度。

14.根据权利要求11所述的全景相机标定方法，其特征在于，柱面拼接结果图像还支持其他投影显示方式：柱心投影显示方式，正射投影显示方式：

(1)柱心投影显示方式模型：

其中(x₁，y₁)是投影前柱面点坐标，(x₂，y₂)是投影后平面点坐标，(x_c，y_c)是投影中心点坐标，r是柱面半径；

(2)正射投影显示方式模型：

其中(x₁，y₁)是投影前柱面点坐标，(x₂，y₂)是投影后平面点坐标，(x_c，y_c)是投影中心点坐标，r是柱面半径。

15.根据权利要求12所述的全景相机标定方法，其特征在于，任意角度放置的镜头组标定包括以下步骤：

(1)完成畸变校正；

(2)估计镜头组参数：a)拍摄1张图像并在图像内部放置2～3个不同角度的棋盘格，或拍摄4～20张图像不同角度放置的相同棋盘格，并进行棋盘格找点和匹配；b)已知棋盘格长度，利用张正友标定方法估计左镜头内参K1,R1,T1，估计右镜头内参K2,R2,T2；c)计算外部参数R,T，并利用理想棋盘格的重投影误差最小、平面的不平整度、棋盘格对应点的3维长度进行联合优化，采用Levenberg-Marquardt算法；

(3)利用镜头组参数进行三维的真实旋转估计用于PT的两个H矩阵；

(4)读入新棋盘格图像验证图像经过PT后不存在y方向的视差；

(5)用平行放置且已知深度的图像来验证测距和三维长度测量的效果；

其中PT为projective transform投影变换。

16.根据权利要求10-14任一所述的全景相机标定方法，其特征在于：根据上述标定的总映射关系，得到全景相机映射后图像点的坐标与原始输入图像的点坐标之间的对应关系，构建两个一维离散坐标映射表X_rela、Y_rela，具体过程如下：

目标图的所有列Lcol经过总映射关系，投影到原始图上的线Lcol’，与原始图的所有行相交的所有交点的横坐标集，定义为X_float,表；

目标图的所有点坐标经过总映射关系，投影到原始图上的点坐标的纵坐标集，定义为Y_float表；

简单地，原始图先经过X_float表对每一行进行插值计算，再经过Y_float表对每一列进行插值计算，即可得到满足总映射关系的目标图；

X_float、Y_float表存储的数据为浮点数，将其定点化X_int、Y_int表，假设精度是accu比特：

X_int、Y_int表是整型全表，以n*n间隔取表中数据保留，生成X_small、Y_small整型小表：

对于X_small小表，保留第一列的数值，其他列以当前列跟左一列的差分值代替，对于Y_small小表，保留第一行的数值，其他行以当前行跟上一行的差分值代替，相对表X_rela、Y_rela的第i行第j列位置的数据计算如下：

上述对X_float、Y_float表，X_int、Y_int表以及X_rela、Y_rela表的每一步操作都是可逆的。

17.根据权利要求16所述的全景相机标定方法，其特征在于，针对球面形态全景相机标定后包含北极点和南极点的图像，划分四个三角形分别地构建两个一维离散坐标映射表，其中四个三角形以北极点或南极点与其所在图像四个顶点的连线划分。