CN104833372A - 一种车载移动测量系统高清全景相机外参数标定方法 - Google Patents

Abstract

本发明涉及一种车载移动测量系统高清全景相机外参数标定方法，操作步骤为：选择多张全景相片，在单张全景相片上选择多个特征，获取特征的影像坐标，同时在点云数据中选择特征对应的绝对坐标；根据全景相机拍照时刻的POS位置及姿态，将绝对空间坐标转换至载体坐标系下的坐标；根据全景相机在载体坐标系中位置和姿态初值，将载体坐标系下的坐标转换至全景相机坐标系下的坐标后，根据全景相机内部标定参数，获取其像素值，计算差值，获取每个同名特征的残差值；计算平差结果的中误差，大于阈值时需检查同名特征的残差值，剔除残差值较大的同名特征，重新选择同名特征，直至满足中误差小于阈值。本发明方法可以确保系统采集数据的精度和可靠性。

Description

一种车载移动测量系统高清全景相机外参数标定方法

技术领域

本发明涉及一种车载移动测量系统高清全景相机外参数标定方法，属于摄影测量和三维激光技术领域。

背景技术

车载移动测量系统由定位定姿系统(POS)、三维激光扫描仪与高清全景相机、工控机系统以及车辆载体组成，其中POS系统获取的高频率高精度位置姿态参数，激光扫描仪获取扫描对象的精确三维坐标，全景相机获取采集对象的纹理信息，工控机系统用于多传感器的同步及控制。在同一的时间空间参考下，多传感器数据能够根据几何关系进行融合，为后续数字城市三维建模、大比例尺制图等基础数据建设提供快速、准确的支持。

为保证采集获取的数据精度，需要对车载移动测量系统进行设备标定，其中包括高清全景相机外参数的标定，标定完成后可以得到全景相机在载体坐标系下的精确位置参数和姿态参数，便于后续进行数据融合。

发明内容

本发明的目的是为了解决现有技术面临的问题，而提供一种基于同名特征匹配的车载移动测量系统高清全景相机外参数标定方法，获取高清全景相机在系统中的精确位置和姿态参数，从而确保系统采集的数据的精度和可靠性，用于后期多传感器数据(点云、影像、POS数据)的融合。

为实现上述目的，本发明所采用的技术方案是：提出一种车载移动测量系统高清全景相机外参数标定方法，首先，使用车载三维激光测量系统进行采集数据，采集数据过程在车辆行驶中进行，三维激光扫描仪用于获取点云数据，GPS导航仪与惯性制导系统构成的POS系统用于获取姿态位置信息，而高清全景相机则用于获取全景相片。三维激光扫描仪经过标定，采集的点云数据完成融合解算后具备精确的绝对坐标，高清全景相机内部多个镜头经过标定，能够获取在全景相机坐标系下三维坐标在全景相片上的精确位置。定义车载三维激光测量系统中的载体坐标系，以POS系统中心点为坐标系原点，车辆行驶的方向为Y轴正方向，垂直向上的方向为Z轴正方向，全景相机内部存在三维空间直角坐标系，则全景相机的外参数可表示载体坐标系转换至全景相机坐标系的变换关系，再按如下步骤操作：

步骤1、选择多张全景相片，在单张全景相片Pano Image_i上选择多个特征，获取特征的影像坐标(U_ij，V_ij)，同时在点云数据中选择特征对应的绝对坐标构建多个同名特征对；

步骤2、对单张全景相片Pano Image_i，有全景相机拍照时刻t_i的POS系统位置及姿态根据POS位置及姿态，将同名特征中的绝对空间坐标转换至载体坐标系下的坐标

步骤3、根据全景相机在载体坐标系中位置和姿态初值将载体坐标系下的坐标转换至全景相机坐标系下的坐标后，根据全景相机内部标定参数，获取其在全景相机上的像素值计算其与(U_ij，V_ij)的差值，获取每个同名特征的残差值根据前述转换过程，列出误差方程后，然后根据最小二乘间接平差原理，求解全景相机外参数，包括位置参数(X_pano-pos，Y_pano-pos，Z_pano-pos)及姿态参数(Yaw_pano-pos，Pitch_pano-pos，Roll_pano-pos)；

步骤4、计算平差结果的中误差δ，在大于阈值δ_T时，需要检查同名特征的残差值，对于残差值较大的同名特征，将其剔除，重新选择同名特征进行步骤1至步骤3，直至满足中误差δ小于阈值δ_T。

本发明的方法步骤1中所述选择多张全景相片，在选择时应遵循选择具备明显特征场景的照片，如建筑物角点等。在单个全景相片上同名特征个数应当大于等于7对，对同名特征对应该包含在点云数据中的绝对坐标全景相片帧号i，在全景相片上的像素坐标(U_ij，V_ij)，其中i表示全景相片帧号，j表示第i帧全景相片的同名特征索引。

本发明的方法步骤2中所述根据拍照时刻t_i的POS位置初值和姿态初值POS系统按照一定频率进行数据采集，根据时间对其原则，对拍照时刻t_i，可以通过插值方法获取该时刻的POS系统的位置和姿态，每一张全景相片都对应唯一时刻，即每一张全景相片均可以获取各自对应的POS系统的位置和姿态参数。通过该位置和姿态，可以得到从绝对坐标系到载体坐标系的转换关系。通过公式①，可以将绝对坐标转换至载体坐标系下的坐标

$\left(\begin{array}{c}{X}_{\mathrm{pos}}^{\mathrm{ij}}\\ Y_{\mathrm{pos}}^{\mathrm{ij}}\\ Z_{\mathrm{pos}}^{\mathrm{ij}}\end{array}\right)=\left(\begin{array}{c}{X}_{\mathrm{abs}}^{\mathrm{ij}}\\ Y_{\mathrm{abs}}^{\mathrm{ij}}\\ Z_{\mathrm{abs}}^{\mathrm{ij}}\end{array}\right)*{\left(R_{\mathrm{pos}}^i\right)}^{-1}-\left(\begin{array}{c}{X}_{\mathrm{pos}}^i\\ Y_{\mathrm{pos}}^i\\ Z_{\mathrm{pos}}^i\end{array}\right)$ …………………………………………①

其中，为由姿态参数中三个旋转角构建的旋转矩阵。

本发明的方法步骤3中所述的根据根据全景相机在载体坐标系中位置和姿态初值位置和姿态参数在按照设计值进行系统集成，将该设计值作为初值，其代表着从全景相机内部定义空间坐标系转换至载体坐标系的变换关系，按照公式②，可计算出在载体坐标系下的坐标值转换至全景相机坐标系下的坐标

$\left(\begin{array}{c}{X}_{\mathrm{pano}}^{\mathrm{ij}}\\ Y_{\mathrm{pano}}^i\\ Z_{\mathrm{pano}}^{\mathrm{ij}}\end{array}\right)=\left(\begin{array}{c}{X}_{\mathrm{pos}}^{\mathrm{ij}}\\ Y_{\mathrm{pos}}^{\mathrm{ij}}\\ Z_{\mathrm{pos}}^{\mathrm{ij}}\end{array}\right)*{\left(R_{\mathrm{pano}-\mathrm{pos}}\right)}^{-1}-\left(\begin{array}{c}{X}_{\mathrm{pano}-\mathrm{pos}}^0\\ Y_{\mathrm{pano}-\mathrm{pos}}^0\\ Z_{\mathrm{pano}-\mathrm{pos}}^0\end{array}\right)$ ……………………………………②

其中，R_pano-pos为姿态参数中三个旋转角构建的旋转矩阵。

根据共线方程原理，有公式③可计算全景坐标系下坐标对应的全景相片上的像素坐标

$\left(\begin{array}{c}{U}_{\mathrm{ij}}^0\\ Y_{\mathrm{pano}}^i\\ -f\end{array}\right)=R_{\mathrm{pano}}^i*\left(\begin{array}{c}{X}_{\mathrm{pano}}^{\mathrm{ij}}\\ Y_{\mathrm{pano}}^{\mathrm{ij}}\\ Z_{\mathrm{pano}}^{\mathrm{ij}}\end{array}\right)$ …………………………………③

其中，为全景坐标系转换至相片空间坐标系的旋转矩阵，f表示相机镜头的内方位元素，通过全景相机内标定后，上述参数均可获得。

计算全景相片坐标之后，求解其余观测值(U_ij，V_ij)的差值作为残差，对全景相片上每一对同名特征有2个方程，若存在n对同名特征，可列出2n个误差方程式，其总误差方程的矩阵形式④为：

V＝AX-L……………………………………………④

根据最小二乘间接平差原理，可列出法方程式⑤：

A^TPAX＝A^TPL…………………………………⑤

式中，P作为观测值的权矩阵，它反映了观察值的量测精度。对所有同名特征，一般认为等观测量测，则P为单位矩阵，由此可得到法方程解的表达式⑥：

X＝(A^TA)^-1A^TL………………………………⑥

从而求解出全景相机外参数，包括位置参数(X_pano-pos，Y_pano-pos，Z_pano-pos)及姿态参数(Yaw_pano-pos，Pitch_pano-pos，Roll_pano-pos)；

本发明的方法步骤4中所述计算中误差δ，设定阈值δ_T，判断δ是否大于阈值δ_T，如果大于，则需要计算出每一同名特征的残差值剔除残差值最大的同名特征，重新选择同名特征后，进行步骤1、步骤2、步骤3，直至中误差δ小于阈值δ。

本发明基于在全景相机完成内标定以及激光扫描仪完成标定的情况下，在不同全景相片上选择多个同名特征，根据共线方程原理列出误差方程式，将全景相机拍照时刻POS系统的位置和姿态参数以及全景相机外参数(包括位置和姿态参数)作为未知数，进行最小二乘间接平差求解，获取精确的全景相机外参数，完成标定工作。

本发明的方法与现有的技术相比具有如下优点：

1、算法严密。本发明的方法将全景相机外参数以及单张全景相机拍照时刻POS位置姿态均加入误差方程式中进行求解，算法更为严密，标定出的外参数适用性更广。

2、免除标定场。本发明的方法可在标定场环境下进行，实际数据采集过程中，选择较多特征场景即可使用本发明方法完成外参数标定工作。

附图说明

图1为本发明基于车载移动测量系统高清全景相机外参数标定方法的操作流程图。

图2为本发明车载移动测量系统不同坐标系示意图。

图3为本发明根据共线条件方程求解全景相机坐标系下三维坐标对应像素坐标示意图。

上述图中：1-绝对坐标系，2-POS坐标系，3-全景坐标系。

具体实施方式

以下结合附图和实施例对本发明作进一步详述。

实施例1：本发明提出的一种车载移动测量系统高清全景相机外参数标定方法，其操作步骤如图1所示。具体的操作是：首先，使用车载三维激光测量系统进行采集数据，采集数据过程在车辆行驶中进行，三维激光扫描仪用于获取点云数据，GPS导航仪与惯性制导系统构成的POS系统用于获取姿态位置信息，而高清全景相机则用于获取全景相片。三维激光扫描仪经过标定，采集的点云数据完成融合解算后具备精确的绝对坐标，高清全景相机内部多个镜头经过标定，能够获取在全景相机坐标系下三维坐标在全景相片上的精确位置。定义车载三维激光测量系统中的载体坐标系，以POS系统中心点为坐标系原点，车辆行驶的方向为Y轴正方向，垂直向上的方向为Z轴正方向，全景相机内部存在三维空间直角坐标系，则全景相机的外参数可表示载体坐标系转换至全景相机坐标系的变换关系，再按如下步骤操作：

步骤1、选择多张全景相片，在单张全景相片Pano Image_i上选择多个特征，如对应i张全景相片的第j对同名特征，其获取的影像坐标为(U_ij，V_ij)，同时在点云数据中选择特征对应的绝对坐标构建多个同名特征对，其具体操作为：

1.1、在第i张全景相片上选择角点j，获取其对应的全景相片的像素坐标为(U_ij，V_ij)，在点云数据中找到对应的位置的三维点，获取绝对坐标为

1.2、重复步骤1.1，为尽量保证选择同名特征点的精确度，选择具备明显特征的位置，如建筑角点，道路斑马线上特征点，至少选择7对同名特征点，并记录同名特征点全景帧号i、绝对坐标及像素坐标(U_ij，V_ij)；

1.3、选择多张全景影像，按步骤1.1及步骤1.2进行。

步骤2、对单张全景相片Pano Image_i，有全景相机拍照时刻t_i的POS系统位置及姿态根据POS系统位置及姿态，将同名特征中的绝对空间坐标转换至载体坐标系下的坐标如图2所示，其具体操作为；

2.1、对第i张全景相片，根据其拍照时刻t_i，找到最近时刻的POS位置和姿态参数，按照线性插值方式，计算出该时刻对应的POS位置初值和姿态参数初值

2.2、对第i张全景相片的第j对同名特征点，按照公式①，可以将其绝对坐标转换至载体坐标系下的坐标如图2所示。

步骤3、根据全景相机在载体坐标系中位置和姿态初值将如第i张全景相片上第j对同名特征在载体坐标系下的坐标转换至全景相机坐标系下的坐标后，根据全景相机内部标定参数，获取其在全景相机上的像素值计算其与(U_ij，V_ij)的差值，获取每个同名特征的残差值根据前述转换过程，列出误差方程后，然后根据最小二乘间接平差原理，求解全景相机外参数，包括位置参数(X_pano-pos，Y_pano-pos，Z_pano-pos)及姿态参数(Yaw_pano-pos，Pitch_pano-pos，Roll_pano-pos)，其具体操作是：

3.1、对于第i张全景相片上第j对同名特征点，按照公式②，可计算出在载体坐标系下的坐标值转换至全景相机坐标系下的坐标如图2所示。

3.2、如图3所示，根据共线方程原理及公式③可计算全景坐标系下坐标对应的全景相片上的像素坐标

3.3、计算全景相片坐标后，求解与观测值(U_ij，V_ij)的差值作为残差，将每张全景相片拍摄时刻对应的POS位置和姿态以及全景相机参数均作为未知数，列出误差方程式，对全景相片上每一对同名特征有2个方程，若存在n对同名特征，可列出2n个误差方程式，根据最小二乘间接平差原理，可列出法方程式，求解法方程的解，从而求解出全景相机外参数，包括位置参数(X_pano-pos，Y_pano-pos，Z_pano-pos)及姿态参数(Yaw_pano-pos，Pitch_pono-pos，Roll_pano-pos)；

步骤4、计算平差结果的中误差δ，在大于阈值δ_T时，需要检查同名特征的残差值，对于残差值较大的同名特征，将其剔除，重新选择同名特征进行步骤1至步骤3，直至满足中误差δ小于阈值δ_T，其具体步骤为：

5.1、计算中误差δ，设定阈值δ_T，如果δ＞δ_T，则需要进入步骤5.2，否则，完成标定工作。

5.2、根据平差后的参数计算出每一同名特征点的残差值，对残差值进行排序，去除最大的残差值，判断是否满足步骤1中所提的条件，如不满足，则重新选择同名特征点，重新进行标定。

本发明的方法基于全景相片上和点云数据中同名特征，将每一帧全景相片拍摄时刻对应的POS位置姿态参数及全景相机外参数均作为未知数进行平差求解，算法较严密，且可以在非标定场环境下进行，具备一定的实用意义。

Claims (5)

1.一种车载移动测量系统高清全景相机外参数标定方法，使用车载三维激光测量系统进行采集数据，采集数据过程在车辆行驶中进行，三维激光扫描仪用于获取点云数据，GPS导航仪与惯性制导系统构成的POS系统用于获取姿态位置信息，而高清全景相机则用于获取全景相片。三维激光扫描仪经过标定，采集的点云数据完成融合解算后具备精确的绝对坐标，高清全景相机内部多个镜头经过标定，能够获取在全景相机坐标系下三维坐标在全景相片上的精确位置。定义车载三维激光测量系统中的载体坐标系，以POS系统中心点为坐标系原点，车辆行驶的方向为Y轴正方向，垂直向上的方向为Z轴正方向，全景相机内部存在三维空间直角坐标系，则全景相机的外参数可表示载体坐标系转换至全景相机坐标系的变换关系，其特征在于：再按如下步骤操作：

步骤1、选择多张全景相片，在单张全景相片Pano Image_i上选择多个特征，获取特征的影像坐标(U_ij，V_ij)，同时在点云数据中选择特征对应的绝对坐标构建多个同名特征对；

步骤2、对单张全景相片Pano Image_i，有全景相机拍照时刻t_i的POS系统位置 及姿态根据POS位置及姿态，将同名特征中的绝对空间坐标转换至载体坐标系下的坐标

步骤3、根据全景相机在载体坐标系中位置和姿态初值 将载体坐标系下的坐标转换至全景相机坐标系下的坐标后，根据全景相机内部标定参数，获取其在全景相机上的像素值计算其与的差值，获取每个同名特征的残差值 根据前述转换过程，列出误差方程后，然后根据最小二乘间接平差原理，求解全景相机外参数，包括位置参数(X_pano-pos，Y_pano-pos，Z_pano-pos)及姿态参数(Yaw_pano-pos，Pitch_pano-pos，ROll_pano-pos)；

步骤4、计算平差结果的中误差δ，在大于阈值δ_T时，需要检查同名特征的残差值，对于残差值较大的同名特征，将其剔除，重新选择同名特征进行步骤1至步骤3，直至满 足中误差δ小于阈值δ_T。

2.根据权利要求1所述的车载移动测量系统高清全景相机外参数标定方法，其特征在于：步骤1中所述选择多张全景相片，在选择时应遵循选择具备明显特征场景的照片，如建筑物角点等。在单个全景相片上同名特征个数应当大于等于7对，对同名特征对应该包含在点云数据中的绝对坐标全景相片帧号i，在全景相片上的像素坐标(U_ij，V_ij)，其中i表示全景相片帧号，j表示第i帧全景相片的同名特征索引。

3.根据权利要求1所述的车载移动测量系统高清全景相机外参数标定方法，其特征在于：步骤2中所述根据拍照时刻t_i的POS位置初值和姿态初值 POS系统按照一定频率进行数据采集，根据时间对其原则，对拍照时刻t_i，可以通过插值方法获取该时刻的POS系统的位置和姿态，每一张全景相片都对应唯一时刻，即每一张全景相片均可以获取各自对应的POS系统的位置和姿态参数。通过该位置和姿态，可以得到从绝对坐标系到载体坐标系的转换关系。通过公式①，可以将绝对坐标转换至载体坐标系下的坐标

…………………………………………①

其中，为由姿态参数中三个旋转角构建的旋转矩阵。

4.根据权利要求1所述的车载移动测量系统高清全景相机外参数标定方法，其特征在于：步骤3中所述的根据根据全景相机在载体坐标系中位置 和姿态初值位置和姿态参数在按照设计值进行系统集成，将该设计值作为初值，其代表着从全景相机内部定义空间坐标系转换至载体坐标系的变换关系，按照公式②，可计算出在载体坐标系下的坐标值转换至全景相机坐标系下的坐标

……………………………………②

其中，R_pano-pos为姿态参数中三个旋转角构建的旋转矩阵。

根据共线方程原理，有公式③可计算全景坐标系下坐标对应的全景相片上的像素坐标

…………………………………③

其中，为全景坐标系转换至相片空间坐标系的旋转矩阵，f表示相机镜头的内方位元素，通过全景相机内标定后，上述参数均可获得。

计算全景相片坐标之后，求解其余观测值的差值作为残差，对全景相片上每一对同名特征有2个方程，若存在n对同名特征，可列出2n个误差方程式，其总误差方程的矩阵形式④为：

V＝AX-L……………………………………………④

根据最小二乘间接平差原理，可列出法方程式⑤：

A^TPAX＝A^TPL…………………………………⑤

式中，P作为观测值的权矩阵，它反映了观察值的量测精度。对所有同名特征，一般认为等观测量测，则P为单位矩阵，由此可得到法方程解的表达式⑥：

X＝(A^TA)^-1A^TL………………………………⑥

从而求解出全景相机外参数，包括位置参数(X_pano-pos，Y_pano-pos，Z_pano-pos)及姿态参数(Yaw_pano-pos，Pitch_pano-pos，Roll_pano-pos)。

5.根据权利要求1所述的车载移动测量系统高清全景相机外参数标定方法，其特征在于：步骤4中所述计算中误差δ，设定阈值δ_T，判断δ是否大于阈值δ_T，如果大于，则需要计算出每一同名特征的残差值剔除残差值最大的同名特征，重新选择同名特征后，进行步骤1、步骤2、步骤3，直至中误差δ小于阈值δ。