CN112611361A - 一种无人机机载测绘吊舱的摄像头安装误差测定方法 - Google Patents

Abstract

本发明公开了一种无人机机载测绘吊舱的摄像头安装误差测定方法，步骤如下：在测绘地面放置标定板，并通过GPS定位模块测量在参考坐标系下的坐标；无人机携带测绘吊舱从多个航向飞过标定板，分别通过IMU得到测绘姿态角和通过GPS定位模块得到测绘位置坐标；根据测绘姿态角和测绘位置坐标计算每张照片对应的参考坐标系到像素坐标系之间的坐标变换关系；通过坐标变换和图像处理得到标定板精确的像素坐标；构建参考坐标系到像素坐标系的包含安装误差参数的坐标重映射函数；利用标定板像素坐标和坐标重映射函数构建重映射误差函数；将重映射误差函数转化为非线性最小二乘优化问题，并利用高斯牛顿法进行求解，得到安装误差参数。

Description

一种无人机机载测绘吊舱的摄像头安装误差测定方法

技术领域

本发明涉及误差测定技术领域，具体涉及一种无人机机载测绘吊舱的摄像头安装误差测定方法。

背景技术

随着信息化测绘概念的推广与普及，地理空间信息的重要性日益增强，并且对地理信息获取的时效性和丰富性提出更高的要求，而无人机低空测绘是一种灵活机动的、智能化的、多功能且高效的测绘方式，被广泛应用于各种场景，例如建筑测绘，矿山地质测绘，交通领域测绘等等。针对无人机低空测绘的无人机机载测绘方案，常见的主要分为自稳定云台测绘方案和机载测绘吊舱方案，其中自稳定云台测绘方案主要依托自稳云台实现稳定遥感拍摄，但这种方案受限于云台的负载能力，只能搭载小型测绘设备；而测绘吊舱方案则克服负载限制，可以搭载更多的传感器，例如摄像头、激光雷达、IMU、GPS等，并通过多种传感融合来达到稳定测绘的效果。对于无人机机载测绘性能，测绘精度是一个重要考察指标，而影响无人机机载测绘吊舱的测绘精度的误差源主要来自传感器安装误差，因此目前亟待提出一种摄像头安装误差角和安装误差偏移的误差测定方法，进而通过误差校正，提高无人机机载测绘吊舱的测绘精度。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种无人机机载测绘吊舱的摄像头安装误差测定方法，通过高空拍摄标定板，并基于最小重投影误差目标进行非线性优化，计算得到摄像头安装误差角和安装误差偏移。

本发明的目的可以通过采取如下技术方案达到：

一种无人机机载测绘吊舱的摄像头安装误差测定方法，所述测定方法包括如下步骤：

S1、在测绘地面放置多个标定板，并通过GPS定位模块测量每个标定板中心在参考坐标系下的坐标；

S2、无人机携带测绘吊舱从多个航向飞过标定板上方并抓拍照片，分别通过IMU惯性测量单元得到测绘姿态角和通过GPS定位模块得到测绘位置坐标；

S3、根据所述测绘姿态角和测绘位置坐标计算每张照片对应的参考坐标系到像素坐标系之间的坐标变换关系；

S4、通过所述坐标变换关系进行坐标变换和图像处理得到标定板在像素坐标系下的像素坐标；

S5、构建参考坐标系到像素坐标系的包含安装误差参数的坐标重映射函数；

S6、利用所述标定板在像素坐标系下的像素坐标和坐标重映射函数构建重映射误差函数；

S7、将重映射误差函数转化为非线性最小二乘优化问题，并利用高斯牛顿法进行求解，得到安装误差参数。

进一步地，所述步骤S1中在测绘地面放置6个2×2黑白标定板。

进一步地，所述步骤S3过程如下：

对于每张照片对应的测绘姿态角

θ、ψ和测绘位置坐标t，设定地面上一点在参考坐标系下的表示为P^W＝[x,y,z]^T，在测绘吊舱坐标系下的表示为P^B，在摄像头坐标系下的表示为P^C，在像素坐标系下的表示为P^M＝[u,v]^T，则参考坐标系和测绘吊舱坐标系之间的坐标变换为：

P^W＝R_BWP^B+t_BW

其中，

R_Z(ψ)表示绕Z轴旋转角度ψ的旋转矩阵，R_Y(θ)表示绕Y轴旋转角度θ的旋转矩阵，

表示绕X轴旋转角度

的旋转矩阵，表示测绘吊舱坐标系到参考坐标系的旋转矩阵，t_BW＝t，表示测绘吊舱坐标系原点在参考坐标系下的坐标；

测绘吊舱坐标系和摄像头坐标系之间的坐标变换为：

P^B＝R_CBP^C+t_CB

其中，R_CB表示摄像头坐标系到测绘吊舱坐标系的旋转矩阵，t_CB是摄像头坐标系原点在测绘吊舱坐标系下的坐标，R_CB和t_CB是根据机械安装确定的常矩阵和常向量；

摄像头坐标系和像素坐标系之间的坐标变换为：

s＝(KP^C)₍₃₎

其中K表示摄像头的内参，s表示像素点P^M对应的深度，表达式(·)_(1∶2)表示列向量的前两维数据，表达式(·)₍₃₎表示列向量的第三维数据；

参考坐标系到像素坐标系的坐标变换为：

进一步地，所述步骤S4中坐标变换和图像处理过程如下：

对于每张照片，将标定板在参考坐标系下的坐标

通过参考坐标系到像素坐标系的坐标变换关系进行坐标变换得到标定板初始像素坐标为：

计算标定板在像素坐标系下的范围为

其中，du_F和dv_F是根据标定板大小和测绘高度决定，在上述范围内将图像灰度化，对标定板进行窗口检测，假设灰度大于阈值的像素为特征像素，在检测窗口中统计特征像素，当左半窗口的特征像素个数等于右半窗口的特征像素个数同时上半窗口的特征像素个数等于下半窗口的特征像素个数时，检测窗口的中心即位标定板精确的像素中心。

进一步地，所述步骤S5中构建包含安装误差参数的坐标重映射函数的过程如下：

由于安装误差的存在，设定安装误差带来的误差旋转矩阵为ΔR，误差位置偏移为Δt，则经过安装误差校正后的测绘吊舱坐标系和摄像头坐标系之间的坐标变换为

其中，ΔR＝R_Z(γ)R_Y(β)R_X(α)，α、β、γ表示安装误差带来的安装误差角，R_Z(γ)表示绕Z轴旋转角度γ的旋转矩阵，R_Y(β)表示绕Y轴旋转角度β的旋转矩阵，R_X(α)表示绕X轴旋转角度α的旋转矩阵，Δt＝[Δx Δy Δz]^T，Δx、Δy和Δz表示安装误差带来的安装误差偏移；

对应的参考坐标系到像素坐标系的包含安装误差参数的坐标重映射方程为

进一步地，所述步骤S6中构建重映射误差函数的过程如下：

将P^W到P^M的重映射方程定义为映射函数f

P^M＝f(P^W，ΔR，Δt)

则对于多个航向的抓拍n张照片中，第i张照片中第j个特征点的重投影误差为

其中

表示第j块标定板中心在参考坐标系下的坐标，m_ij表示第i张照片中检测得到的第j块标定板的像素坐标，i＝1，2，...，n，j＝1，2，...，6。

进一步地，所述步骤S7过程如下：

令变量ξ＝[α β γ Δx Δy Δz]^T，利用最小化误差二范数思想构建非线性最小化重投影误差问题为

通过高斯牛顿法进行求解，得到安装误差参数α、β、γ、Δx、Δy和Δz。

本发明相对于现有技术具有如下的优点及效果：

本发明通过高空拍摄标定板，并基于最小重投影误差目标进行非线性优化，计算得到摄像头安装误差角和安装误差偏移，进而可以通过误差校正，提高无人机机载测绘吊舱的测绘精度。

附图说明

图1是本发明实施例公开的一种无人机机载测绘吊舱的摄像头安装误差测定方法的流程图；

图2是本发明实施例中使用的标定板示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如图1所示，本实施例公开的无人机机载测绘吊舱的摄像头安装误差测定方法主要过程如下：放置标定板并测量坐标、航拍标定板并记录IMU惯性测量单元和GPS定位模块的测量数据、计算每张照片的坐标变换关系、检测每张照片的标定板像素坐标、构建包含安装误差参数的坐标重映射函数、构建坐标重映射误差函数、转化为非线性最小二乘优化问题并求解。下面结合图1具体介绍实施过程：

步骤S1、放置标定板并测量坐标，在测绘地面放置6个如果2所示的黑白标定板，并通过GPS定位模块测量每个标定板中心在参考坐标系下的坐标。

步骤S2、航拍标定板并记录IMU惯性测量单元和GPS定位模块的测量数据，控制无人机携带测绘吊舱从多个航向飞过标定板上方并抓拍照片，分别通过当前IMU惯性测量单元得到测绘姿态角和通过GPS定位模块得到测绘位置坐标。

步骤S3、计算每张照片的坐标变换关系，针对每张照片，利用对应的测绘姿态角和测绘位置坐标，通过计算得到对应的参考坐标系和像素坐标系之间的坐标变换关系，对于每张照片对应的测绘姿态角

θ、ψ和测绘位置坐标t，设定地面上一点在参考坐标系下的表示为P^W＝[x，y，z]^T，在测绘吊舱坐标系下的表示为P^B，在摄像头坐标系下的表示为P^C，在像素坐标系下的表示为P^M＝[u，v]^T，则参考坐标系和测绘吊舱坐标系之间的坐标变换为

P^W＝R_BWP^B+t_BW (1)

其中，

R_Z(ψ)表示绕Z轴旋转角度ψ的旋转矩阵，R_Y(θ)表示绕Y轴旋转角度θ的旋转矩阵，

表示绕X轴旋转角度

的旋转矩阵，表示测绘吊舱坐标系到参考坐标系的旋转矩阵，t_BW＝t，示测绘吊舱坐标系原点在参考坐标系下的坐标；测绘吊舱坐标系和摄像头坐标系之间的坐标变换为

P^B＝R_CBP^C+t_CB (2)

其中，R_CB表示摄像头坐标系到测绘吊舱坐标系的旋转矩阵，t_CB是摄像头坐标系原点在测绘吊舱坐标系下的坐标，R_CB和t_CB是根据机械安装确定的常矩阵和常向量；摄像头坐标系和像素坐标系之间的坐标变换为

s＝(KP^C)₍₃₎ (6)

其中，K表示摄像头的内参，s表示像素点P^M对应的深度，表达式(·)_(1∶2)表示列向量的前两维数据，表达式(·)₍₃₎表示列向量的第三维数据；结合公式(1)-(6)可以得到参考坐标系到像素坐标系的坐标变换为

s＝(KR_CB ^-1(R_BW ^-1(P^W-t_BW)-t_CB))₍₃₎ (8)

步骤S4、检测每张照片的标定板像素坐标，对于每张照片，假设标定板在参考坐标系下的坐标为

代入公式(7)-(8)可以得到标定板初始像素坐标为

计算标定板在像素坐标系下的范围为

其中，du_F和dv_F是根据标定板大小和测绘高度决定，在将上述范围内将图像灰度化，进行标定板检测，采用的窗口检测；假设灰度大于阈值的像素为特征像素，在检测窗口中统计特征像素，当左半窗口的特征像素个数等于右半窗口的特征像素个数同时上半窗口的特征像素个数等于下半窗口的特征像素个数时，检测窗口的中心即位标定板精确的像素中心。

步骤S5、构建包含安装误差参数的坐标重映射函数，由于安装误差的存在，设定安装误差带来的误差旋转矩阵为ΔR，误差位置偏移为Δt，则经过安装误差校正后的测绘吊舱坐标系和摄像头坐标系之间的坐标变换为

其中，ΔR＝R_Z(γ)R_Y(β)R_X(α)，α、β、γ表示安装误差带来的安装误差角，Δt＝[Δx Δy Δz]^T，Δx、Δy和Δz表示安装误差带来的安装误差偏移；结合公式(1)，(3)-(6)，(9)可以得到参考坐标系到像素坐标系的包含安装误差参数的坐标重映射方程为

s＝(KR_CB ^-1ΔR^-1(R_BW ^-1(P^W-t_BW)-t_CB-Δt))₍₃₎ (11)

步骤S6、构建坐标重映射误差函数，将参考坐标系到像素坐标系的重映射函数重新定义为映射函数f，即

P^M＝f(P^W，ΔR，Δt)

则对于多个航向的抓拍n张照片中，第i(i＝1，2，...，n)张照片中第j(j＝1，2，...，6)个特征点，其重投影误差为

其中，

表示第j块标定板中心在参考坐标系下的坐标，m_ij表示第i张照片中检测得到的第j块标定板的像素坐标。

步骤S7、转化为非线性最小二乘优化问题并求解，将安装误差角α、β、γ和安装误差偏移Δx、Δy、Δz构建成变量ξ，

即ξ＝[α β γ Δx Δy Δz]^T，利用最小化误差二范数思想构建非线性最小化重投影误差问题为

通过高斯牛顿法进行求解，得到本发明目标测定的安装误差α、β、γ，Δx，Δy和Δz，实现本发明的方法。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种无人机机载测绘吊舱的摄像头安装误差测定方法，其特征在于，所述测定方法包括如下步骤：

S1、在测绘地面放置多个标定板，并通过GPS定位模块测量每个标定板中心在参考坐标系下的坐标；

S2、无人机携带测绘吊舱从多个航向飞过标定板上方并抓拍照片，分别通过IMU惯性测量单元得到测绘姿态角和通过GPS定位模块得到测绘位置坐标；

S3、根据所述测绘姿态角和测绘位置坐标计算每张照片对应的参考坐标系到像素坐标系之间的坐标变换关系；

S4、通过所述坐标变换关系进行坐标变换和图像处理得到标定板在像素坐标系下的像素坐标；

S5、构建参考坐标系到像素坐标系的包含安装误差参数的坐标重映射函数；

S6、利用所述标定板在像素坐标系下的像素坐标和坐标重映射函数构建重映射误差函数；

S7、将重映射误差函数转化为非线性最小二乘优化问题，并利用高斯牛顿法进行求解，得到安装误差参数。

2.根据权利要求1所述的一种无人机机载测绘吊舱的摄像头安装误差测定方法，其特征在于，所述步骤S1中在测绘地面放置6个2×2黑白标定板。

3.根据权利要求1所述的一种无人机机载测绘吊舱的摄像头安装误差测定方法，其特征在于，所述步骤S3过程如下：

对于每张照片对应的测绘姿态角

θ、ψ和测绘位置坐标t，设定地面上一点在参考坐标系下的表示为P^W＝[x,y,z]^T，在测绘吊舱坐标系下的表示为P^B，在摄像头坐标系下的表示为P^C，在像素坐标系下的表示为P^M＝[u,v]^T，则参考坐标系和测绘吊舱坐标系之间的坐标变换为：

P^W＝R_BWP^B+t_BW

其中，

表示测绘吊舱坐标系到参考坐标系的旋转矩阵，R_Z(ψ)表示绕Z轴旋转角度ψ的旋转矩阵，R_Y(θ)表示绕Y轴旋转角度θ的旋转矩阵，

表示绕X轴旋转角度

的旋转矩阵，t_BW＝t,表示测绘吊舱坐标系原点在参考坐标系下的坐标；

测绘吊舱坐标系和摄像头坐标系之间的坐标变换为：

P^B＝R_CBP^C+t_CB

其中，R_CB表示摄像头坐标系到测绘吊舱坐标系的旋转矩阵，t_CB是摄像头坐标系原点在测绘吊舱坐标系下的坐标，R_CB和t_CB是根据机械安装确定的常矩阵和常向量；

摄像头坐标系和像素坐标系之间的坐标变换为：

s＝(KP^C)₍₃₎

其中K表示摄像头的内参，s表示像素点P^M对应的深度，表达式(·)_(1:2)表示列向量的前两维数据，表达式(·)₍₃₎表示列向量的第三维数据；

参考坐标系到像素坐标系的坐标变换为：

4.根据权利要求3所述的一种无人机机载测绘吊舱的摄像头安装误差测定方法，其特征在于，所述步骤S4中坐标变换和图像处理过程如下：

对于每张照片，将标定板在参考坐标系下的坐标

通过参考坐标系到像素坐标系的坐标变换关系进行坐标变换得到标定板初始像素坐标为：

计算标定板在像素坐标系下的范围为

其中，du_F和dv_F是根据标定板大小和测绘高度决定，在上述范围内将图像灰度化，对标定板进行窗口检测，假设灰度大于阈值的像素为特征像素，在检测窗口中统计特征像素，当左半窗口的特征像素个数等于右半窗口的特征像素个数同时上半窗口的特征像素个数等于下半窗口的特征像素个数时，检测窗口的中心即位标定板精确的像素中心。

5.根据权利要求4所述的一种无人机机载测绘吊舱的摄像头安装误差测定方法，其特征在于，所述步骤S5中构建包含安装误差参数的坐标重映射函数的过程如下：

由于安装误差的存在，设定安装误差带来的误差旋转矩阵为ΔR，误差位置偏移为Δt，则经过安装误差校正后的测绘吊舱坐标系和摄像头坐标系之间的坐标变换为

其中，ΔR＝R_Z(γ)R_Y(β)R_X(α)，α、β、γ表示安装误差带来的安装误差角，R_Z(γ)表示绕Z轴旋转角度γ的旋转矩阵，R_Y(β)表示绕Y轴旋转角度β的旋转矩阵，R_X(α)表示绕X轴旋转角度α的旋转矩阵，Δt＝[Δx Δy Δz]^T，Δx、Δy和Δz表示安装误差带来的安装误差偏移；

对应的参考坐标系到像素坐标系的包含安装误差参数的坐标重映射方程为

6.根据权利要求5所述的一种无人机机载测绘吊舱的摄像头安装误差测定方法，其特征在于，所述步骤S6中构建重映射误差函数的过程如下：

将P^W到P^M的重映射方程定义为映射函数f

P^M＝f(P^W,ΔR,Δt)

则对于多个航向的抓拍n张照片中，第i张照片中第j个特征点的重投影误差为

其中

表示第j块标定板中心在参考坐标系下的坐标，m_ij表示第i张照片中检测得到的第j块标定板的像素坐标，i＝1,2,…,n，j＝1,2,…,6。

7.根据权利要求6所述的一种无人机机载测绘吊舱的摄像头安装误差测定方法，其特征在于，所述步骤S7过程如下：

令变量ξ＝[α β γ Δx Δy Δz]^T，利用最小化误差二范数思想构建非线性最小化重投影误差问题为

通过高斯牛顿法进行求解，得到安装误差参数α、β、γ、Δx、Δy和Δz。

Images