CN113888640A - 一种适用于无人机云台相机的改进标定方法 - Google Patents

Abstract

本发明提供了一种适用于无人机云台相机的改进标定方法，该方法首先利用无人机云台相机拍摄圆点标定板，通过数字图像处理算法获取标定板图像上的离散尺度因子，然后通过移动最小二乘算法将离散的尺度因子拟合出尺度场，再分别改变云台相机的测量距离和角度，重复上述步骤获得多组相关的图像尺度场，最后分析测距和测角参数对图像尺度场变化的影响，建立线性插值的数学模型。本发明的改进标定方法对无人机云台相机进行标定，可在实际测量时无需重复标定，解决无人机测量面临的拍摄姿态问题。同时本方法采用了分段变焦标定策略，使获取的照片同时具有较高的成像质量和足够多的像素数量。

Description

一种适用于无人机云台相机的改进标定方法

技术领域

本发明涉及无人机技术、图像测量和相机标定领域，尤其是涉及一种适用于无人机云台相机的改进标定方法。

背景技术

当前，无人机因体积小、机动性强、安全可靠等优势，利用其搭载高分辨率的云台相机对各类难以触及的目标(高层建筑和大跨径桥梁等)进行图像检测已展现巨大潜力。对于传统的图像测量系统，较多是采用固定放置的工业相机或者数码单反相机作为测量设备，为获取三维世界坐标到图像二维坐标的联系，需要进行相机内、外参数和畸变参数的标定计算。目前常采用标定板进行标定，通过拍摄多张不同角度下的标定板照片，获得多个空间中三维坐标与成像平面二维坐标之间的对应关系，进而求解相机的畸变参数、内部参数和外部参数。

图像测量技术的精度通常高度依赖图像采集系统的标定参数，但针对不同的测量姿态(测量距离和角度)和相机属性(焦距和光圈等)，标定参数是唯一的，因此需要重复进行标定操作。同时，因为畸变参数、内部参数和外部参数过多，系统敏感性过高，难以在测量条件改变的情况下进行量化与修正，使得标定结果难以重复利用。

但在无人机的测量环境中，往往会面临需要改变测量距离和角度的情况，同时要保证成像质量和使测量目标包含足够多的像素数，因此需要调节焦距以获取合适的图像进行识别和测量。这进一步给无人机云台相机的标定带来障碍。因此，发明一种适用于无人机云台相机的改进标定方法是非常必要的，可以提升无人机平台的实用性和测量精度，具有重要的应用价值。

发明内容

为克服以上问题，本发明提出一种适用于无人机云台相机的改进标定方法。该方法在标定过程中无需通过复杂的计算获得计算相机内、外参数和畸变参数，直接获取图像坐标和世界坐标系的映射，便可利用无人机云台相机进行准确的图像测量。

本发明采用的技术方案为：一种适用于无人机云台相机的改进标定方法，包括如下步骤：

步骤一：首先利用无人机云台相机拍摄圆点标定板，获得标定板图像，通过数字图像处理算法获取标定板上圆形目标的质心坐标。进而计算出相邻圆点的物理间距与其在图像中的像素间距之比，作为此测量条件下的离散尺度因子。

步骤二：通过移动最小二乘算法将步骤一求得的离散尺度因子拟合出图像尺度场。

步骤三：分别改变云台相机的测量距离和测量角度，重复步骤一和步骤二，获得多组相关的图像尺度场。

步骤四：最后分析测量距离和测量角度参数对图像尺度场变化的影响，定量表征此变化关系，并建立线性插值的数学模型。

进一步地，所述的步骤一具体为：通过无人机云台相机获取标定板图像后，依次进行图像灰度化、边缘检测、轮廓质心计算和质心像素间距计算操作，最后获取到图像中x和y方向的离散尺度因子。

进一步地，所述的步骤三具体为：首先保持无人机与标定板的相对垂直，以0.5m的距离变量依次改变测量距离，并利用云台相机拍摄标定板照片；在不同测量距离范围内采用不同的焦距，通过变焦条件下的分级标定，满足测量距离变化的需求，并充分利用相机的硬件性能；再依次改变测量角度，分别实现0°，15°，30°，45°下的拍摄，所述测量角度为相机光轴与被测物表面法线的夹角；最后重复步骤一和步骤二的计算流程，获取云台相机在不同测量距离和测量角度条件下的图像尺度场。

进一步地，所述的步骤四具体为：选取不同距离下的图像尺度场中心处数值进行分析，计算出线性拟合对应的R_square系数分析线性度，建立测量距离参数和图像尺度场的线性插值数学模型，如公式(1)所示：

式中：H_θ(l,x,y)和G_θ(l,x,y)分别为x和y方向的尺度场，l和θ为云台相机的测量距离和角度，l₀和l₁分别为根据l匹配的插值节点，x,y为图像中的像素坐标。

本发明的有益效果是，本发明的改进标定方法对无人机云台相机进行标定，在实际测量时无需重复标定，解决了无人机测量面临的拍摄姿态问题。同时本方法采用了分段变焦标定策略，使获取的照片同时具有较高的成像质量和足够多的像素数量。

附图说明

为了更加清楚地介绍本发明具体实施方案，下面对具体实施例中所使用的附图进行简要的介绍。

图1为标定板图像的离散尺度因子计算流程图；

图2为x方向上图像离散尺度因子分布图；

图3为x方向上图像尺度场示意图；

图4为无人机云台相机测量距离改变示意图；

图5为无人机云台相机测量角度改变示意图；

图6为不同测量角度下图像中心处的x方向尺度线性关系示例图，其中，图6(a)为5°下图像中心处的x方向尺度线性关系示例图，图6(b)为5°下图像中心处的x方向尺度线性关系示例图，图6(c)为5°下图像中心处的x方向尺度线性关系示例图，图6(d)为5°下图像中心处的x方向尺度线性关系示例图。

具体实施方式

下面将结合附图以及具体实施例来详细说明本发明，在此本发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。

本实施例公开了一种适用于无人机云台相机的改进标定方法，包括如下步骤：

步骤一：首先利用无人机云台相机拍摄圆点标定板，获得标定板图像，通过数字图像处理算法获取标定板上圆形目标的质心坐标。进而计算出相邻圆点的物理间距与其在图像中的像素间距之比(mm/pixel)，作为此测量条件下的离散尺度因子。

步骤一中，通过无人机云台相机获取标定板图像后，依次进行图像灰度化、边缘检测、轮廓质心计算、质心像素间距计算和尺度因子计算操作，如图1所示。

其中图像灰度化算法对云台相机拍摄得到的RGB格式图像的处理为加权平均法，如公式(1)：

g(i,j)＝0.299R(i,j)+0.587G(i,j)+0.114B(i,j) (1)

式中：g(i,j)为像素点(i,j)处的灰度值，R(i,j)、G(i,j)和B(i,j)分别为红、绿、蓝通道的颜色强度。

边缘检测算法采用基于非微分边缘检测的Canny算子，寻找图像梯度局部最大值，具体步骤为：

1.利用高斯滤波模板与图像做卷积运算，进行图像平滑。

2.利用一阶微分算子计算滤波后图像梯度的幅值和方向。

3.对图像梯度幅值进行非极大值抑制。将梯度方向划分为4个方向范围，若某点的像素梯度值与其对应的梯度方向上前后两点相比是最大值的话，将其保留，作为候补边缘点；否则，视为该点并不是边缘点，将其像素置为0，进一步排除非边缘信息。

4.使用双阈值算法进行检测和边缘连接。设置一个高阈值T_h和一个低阈值T_l，当候补边缘点的梯度值大于T_h时，将此点标记为边缘点；当候补边缘点的梯度值小于T_l时，直接将此点排除；当候补边缘点的梯度值在T_h和T_l之间时，如果其与已确定的边缘点连接则保留，否则排除。

当圆形标记物的边缘被检测出来后，轮廓质心获取是通过边缘上的点序列做如下计算：

式中：array(x,y)为圆形标记物边缘上的点序列，x_i和y_i分别为圆形标记物的质心在图像中x，y坐标。

像素间距为

其中(x_i，y_i)和(x_i+1，y_i+1)分别为相邻圆形标记物的质心坐标。再利用标定板圆心物理间距(15mm)和像素间距之比，可分别获取x和y方向上的图像尺度因子。最终获取得到的在x方向上的图像尺度因子如图2所示。

步骤二：通过移动最小二乘算法(Moving Least Squares,MLS)将步骤一求得的离散尺度因子拟合出图像尺度场。以用被测数据h(x_i,y_i)数据拟合出x方向的尺度场H(x,y)为例，假设逼近全局散点数据h(x_i,y_i)的MLS近似函数H(x,y)由基函数和待定系数组成：

式中：p_i(x,y)是由m阶的单项式基组成的基函数，a_i(x,y)是待定系数。由于待定系数是局部相关的，拟合函数受影响区域内的点影响，所以公式(3)在每个散点(x,y)邻域内的局部近似

为：

式中：m是基函数的项数，(x,y)是待拟合点，

是待拟合点邻域内的点。因为比例尺呈非线性分布，所以我们采用二次多项式(二次基)：

p^T＝[1,x,y,x²,xy,y²] (5)

对应二次基的m＝6。同时引入紧支撑权函数：

w_I(x,y)＝w((x,y)-(x_I,y_I)) (6)

式中：(x_I,y_I)是已知节点，(x,y)-(x_I,y_I)为待拟合点到已知节点的距离，即为

常用的权函数类型有：高斯型、指数型、径向基函数和样条权函数等。在本文中采用的权函数为三次样条权函数：

式中：

是距离相对量，l为距离

l_max为节点影响半径，即每一个节点权函数的影响区域半径。在图4中我们展示了三次样条权函数的特性，将x和y轴上的单位长度设为l_max，(x_I,y_I)设为(0,0)。

将

取为(x_I,y_I)，则局部近似函数

在所有节点处的误差加权平方和为

式中：N为节点个数，并满足w_I(x,y)＞0。

要使得近似函数

在计算点(x,y)的邻域内是待求函数H(x,y)的最佳近似，必须令J取最小值，有：

由此可得：

改写成矩阵形式：

A(x,y)a(x,y)＝B(x,y)h (11)

待定系数向量a(x,y)为：

a(x,y)＝A^-1(x,y)B(x,y)h (12)

式中：

B(x,y)＝[w₁(x,y)p(x₁,y₁),w₂(x,y)p(x₂,y₂),……,w_N(x,y)p(x_N,y_N)] (14)

h＝[h(x₁,y₁),h(x₂,y₂),……,h(x_N,y_N)]^T (15)

由此可得MLS求得的近似函数：

H(x,y)＝p^T(x,y)A^-1(x,y)B(x,y)h (16)

通过MLS算法拟合得到的图像尺度场如图3所示。

步骤三：分别改变云台相机的测量距离和测量角度，重复步骤一和步骤二，获得多组相关的图像尺度场。

该步骤三中，首先保持无人机与标定板的相对垂直，以0.5m的距离变量依次改变测量距离，并利用云台相机拍摄标定板照片，如图4所示。

在不同测量距离范围内采用不同的焦距，通过变焦条件下的分级标定，满足测量距离变化的需求，并充分利用相机的硬件性能。详细测量参数如表1所示：

表1云台相机测量参数

再依次改变测量角度，分别实现0°，15°，30°，45°下的拍摄，如图5所示。所述测量角度为相机光轴与被测物表面法线的夹角。

最后重复步骤一和步骤二的计算流程，获取云台相机在不同测量距离和测量角度条件下的图像尺度场。

步骤四：最后分析测量距离和测量角度参数对图像尺度场变化的影响，定量表征此变化关系，并建立线性插值的数学模型。

该步骤四中，选取不同距离下的图像尺度场中心处数值进行分析，计算出线性拟合对应的R_square系数均大于0.99(1.00代表存在最佳拟合)，体现了较高的线性度。如图6为不同角度下图像中心处的x方向尺度线性关系示例。

故建立测距参数和图像尺度场的线性插值数学模型，如公式(17)所示：

式中：H_θ(l,x,y)和G_θ(l,x,y)分别为x和y方向的尺度场，l和θ为云台相机的测量距离和角度，l₀和l₁分别为根据l匹配的插值节点，x,y为图像中的像素坐标。

综上，本发明通过改进的标定方法，对无人机云台相机进行标定，可实现在实际测量时无需重复标定，一次标定完成后，可通过线性插值计算的方法获取一定测角条件下，任意测距时的图像尺度场，可解决无人机测量面临的拍摄姿态问题。同时本方法采用了分段变焦标定策略，充分利用相机的硬件性能，使获取的照片同时具有较高的成像质量和足够多的像素数量。

以上对本发明实施例所公开的技术方案进行了详细介绍，本文中应用了具体实施例对本发明实施例的原理以及实施方式进行了阐述，以上实施例的说明只适用于帮助理解本发明实施例的原理；同时，对于本领域的一般技术人员，依据本发明实施例，在具体实施方式以及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种适用于无人机云台相机的改进标定方法，其特征在于，包括如下步骤：

步骤一：首先利用无人机云台相机拍摄圆点标定板，获得标定板图像，通过数字图像处理算法获取标定板上圆形目标的质心坐标；进而计算出相邻圆点的物理间距与其在图像中的像素间距之比，作为此测量条件下的离散尺度因子；

步骤二：通过移动最小二乘算法将步骤一求得的离散尺度因子拟合出图像尺度场；

步骤三：分别改变云台相机的测量距离和测量角度，重复步骤一和步骤二，获得多组相关的图像尺度场；

步骤四：最后分析测量距离和测量角度参数对图像尺度场变化的影响，定量表征此变化关系，并建立线性插值的数学模型。

2.根据权利要求1所述的一种适用于无人机云台相机的改进标定方法，其特征在于，所述的步骤一具体为：通过无人机云台相机获取标定板图像后，依次进行图像灰度化、边缘检测、轮廓质心计算和质心像素间距计算操作，最后获取到图像中x和y方向的离散尺度因子。

3.根据权利要求1所述的一种适用于无人机云台相机的改进标定方法，其特征在于，所述的步骤三具体为：首先保持无人机与标定板的相对垂直，以0.5m的距离变量依次改变测量距离，并利用云台相机拍摄标定板照片；在不同测量距离范围内采用不同的焦距，通过变焦条件下的分级标定，满足测量距离变化的需求，并充分利用相机的硬件性能；再依次改变测量角度，分别实现0°，15°，30°，45°下的拍摄，所述测量角度为相机光轴与被测物表面法线的夹角；最后重复步骤一和步骤二的计算流程，获取云台相机在不同测量距离和测量角度条件下的图像尺度场。

4.根据权利要求1所述的一种适用于无人机云台相机的改进标定方法，其特征在于，所述的步骤四具体为：选取不同距离下的图像尺度场中心处数值进行分析，计算出线性拟合对应的R_square系数分析线性度，建立测量距离参数和图像尺度场的线性插值数学模型，如公式(1)所示：

式中：H_θ(l,x,y)和G_θ(l,x,y)分别为x和y方向的尺度场，l和θ为云台相机的测量距离和角度，l₀和l₁分别为根据l匹配的插值节点，x,y为图像中的像素坐标。

Images