CN101692283B - 无人旋翼机仿生着陆系统的摄像机外参数在线自标定方法 - Google Patents

Abstract

本发明涉及一种无人旋翼机仿生着陆系统的摄像机外参数在线自标定方法。该方法解决旋翼机下降过程中立体视觉的盲区问题，提高无人旋翼机的着陆精度，其实现操作步骤为：(1)内参数标定；(2)外参基线标定；(3)外参数在线自标定。该方法对无人旋翼机机载上双摄像机外参数进行在线自标定，实时地获取摄像机的光轴夹角信息及高度信息，能够有效地解决双目立体视觉的盲区问题，从而保障了无人旋翼机着陆的自主进行，提高了系统的安全性。

Description

无人旋翼机仿生着陆系统的摄像机外参数在线自标定方法

技术领域

本发明涉及一种用于无人旋翼机仿生双目视觉辅助着陆系统中，旋翼机机载上的摄像机外参数自标定方法。

背景技术

在研究无人旋翼机自主着陆中，为解决下降过程中立体视觉的盲区问题，采用了模仿人体双眼异向运动的方法，改变双目视觉系统的视轴夹角以减少盲区区域。然而随着视轴夹角的改变，摄像机的外参数也随之发生变化。现研究的标定，无论是哪种类型，也都只能处于离线标定的状态，得到某一时刻的外参数，并不能对摄像机不断变化的参数实现在线实时的标定。如何在线实时标定来获得旋翼机下降过程中的高度信息及摄像机光轴的夹角信息显得尤为重要。

发明内容

本发明的目的在于针对已有技术存在的缺陷，提供一种无人旋翼机仿生着陆系统的摄像机外参数在线自标定方法，实现当摄像机视轴夹角发生改变时，系统能准确地对摄像机外参数进行在线标定，获得无人旋翼机下降过程中的实时高度信息及夹角信息。

本发明的构思是：

根据无人旋翼机着陆的基本情况进行机械结构的仿制，建立摄像机成像的几何模型，如图1所示。取左摄像机光心为世界坐标系原点(0，0，0)，给出了两个摄像机中心连线所在平面(X_WZ_W平面)，两摄像机光心之间的距离为B，摄像机光轴在X_WZ_W平面内与Z_W轴的夹角为θ(未知)。图1中Image1和Image2为两图像平面，图像坐标y_L，y_R轴垂直于X_WZ_W平面向里，(x₁，y₁)和(x₂，y₂)分别是两图像平面对应的图像点对坐标。(X_W，Y_W，Z_W)是P点的世界坐标，坐标轴Y_W垂直于X_WZ_W平面向里。图1中未标出y₁、y₂坐标，可参见图5和图6。

从点P(X_W，Y_W，Z_W)分别向两摄像机坐标轴做垂线，则这两垂线与X轴的夹角都是θ，由两个坐标所围成的三角形关系得到下列关系：

$Z_W=\frac{B}{2}\cot \mathrm{\θ}---\left(1\right)$

$\frac{X_R}{f}=\frac{(X_W-\frac{B}{2})\cos \mathrm{\θ}}{r-(X_W-\frac{B}{2})\sin \mathrm{\θ}}---\left(2\right)$

$\frac{X_L}{f}=\frac{(X_W-\frac{B}{2})\cos \mathrm{\θ}}{r+(X_W-\frac{B}{2})\sin \mathrm{\θ}}---\left(3\right)$

由关系式(2)、(3)可得：

$r=\frac{B}{2\sin \mathrm{\θ}}-f---\left(4\right)$

将式(4)代入关系式(1)中可得到：

$Z_W=\frac{{\mathrm{BX}}_L{X}_R}{f|X_L-X_R|}---\left(5\right)$

上述公式变换涉及到几个摄像机参数：世界坐标Z_W(即飞机距离地面的高度)，摄像机光轴的旋转角θ，两个摄像机的图像坐标X_R、X_L，两摄像机光心间的距离B以及摄像机的内参数焦距f。在式(5)中，光心距离B属于立体视觉外参标定，焦距f则是内参标定，均可事先离线标定得到，因此只需要知道同一场景下不同图像中对应点的图像坐标X_R和X_L，便可确定出坐标Z_W的值，即无人旋翼机自主着陆的高度信息。一旦确定了Z_W，根据式(1)即可确定视轴夹角θ，可为视觉系统提供参数信息，也就为着陆控制提供了保证。

另外，需要考虑三个方面问题：

(1)摄像机内参数标定。

考虑摄像机可能出现的各种畸变，即径向畸变、切向畸变、偏心畸变和仿射畸变等，我们采用5参数内参数阵，即

$K=\left[\begin{array}{ccc}{k}_u& s& p_u\\ 0& k_v& p_v\\ 0& 0& 1\end{array}\right]---\left(6\right)$

其中，如图6所示，k_u为焦距f与像素点在图像坐标u方向宽度的比值；k_v为焦距f与像素点在图像坐标v方向宽度的比值；s为图像平面不垂直光轴产生的畸变因子；p_u＝p_v为光轴与图像平面交点坐标。

内参数的标定，可以利用空间中三个特殊关系点的对应成像点，直接列出方程组，求解出摄像机的内参数。具体的标定方法如下：

令 $\stackrel{\→}{P}={(u,v,1)}^T$ 为图像坐标的齐次坐标； $\stackrel{\→}{X}={(x,y,z,1)}^T$ 为世界坐标系的齐次坐标；将摄像机固定在导轨上，空间点由摄像机前的平板上的网格交点代替，用三坐标测量及测得网格交点的世界坐标。所取三点需满足的坐标关系为：x₀＝x₁，y₀≠y₁，x₀≠x₂，y₀＝y₂，z₀＝z₁＝z₂(见图5)。由三点的实际成像点，测得它们对应的图像坐标。利用三点在世界坐标系中的坐标值和实际成像点的图像坐标，根据图6的摄像机成像模型有下列计算公式(公式(7)-(11))，可计算出摄像机的5个内参数k_u，k_v，p_u，p_v，s。

$s=\frac{u_{0z}-u_{1z}}{y_0-y_1}{z}_0---\left(7\right)$

$p_v=\frac{y_1{v}_{0z}-y_0{v}_{1z}}{y_1-y_0}---\left(8\right)$

$k_u=\frac{u_{2z}-u_{0z}}{x_2-x_0}{z}_0---\left(9\right)$

$k_v=\frac{v_{1z}-v_{0z}}{y_1-y_0}{z}_0---\left(10\right)$

$p_u=u_{0z}-\frac{u_{2z}-u_{0z}}{x_2-x_0}{x}_0-\frac{u_{1z}-u_{0z}}{y_1-y_0}{y}_0---\left(11\right)$

其中，(u_0z，v_0z)，(u_1z，v_1z)，(u_2z，v_2z)分别为点A₀、A₁、A₂对应的图像坐标。

(2)外参基线B的标定。

在对基线B标定时，我们可以使得两摄像机处于光轴共面并垂直于Y轴的位置，两者的相对位置仅仅是相差一个平移矩阵。两副图像上点对应的基本几何约束关系为： $R_R^T{\mathrm{FU}}_L=0.$

式中，U_R和U_L是空间点在左、右图像上对应的二维图像坐标，F是基本矩阵， $F=A_R^{-T}{\mathrm{SRA}}_L^{-1}$ (S为反对称矩阵，它由平移矢量所定义)，它实际上包括了双目立体视觉系统的所有参数，即两个摄像机内部参数A_L、A_R和视觉系统的结构参数R、T。根据上文分析的模型，可将 $U_R^{T}F{U}_L=0$ 变换成：

${\left[\begin{array}{c}{X}_R\\ Y_R\\ 1\end{array}\right]}^T{\left[\begin{array}{ccc}{k}_u& s& p_u\\ 0& k_v& p_v\\ 0& 0& 1\end{array}\right]}^{-T}\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& -B\\ 0& B& 0\end{array}\right]\left[\begin{array}{ccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]{\left[\begin{array}{ccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& 0\\ \sin \mathrm{\θ}& -\cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]}^{-1}{\left[\begin{array}{ccc}{k}_u& s& p_u\\ 0& k_v& p_v\\ 0& 0& 1\end{array}\right]}^{-1}\left[\begin{array}{c}{X}_L\\ Y_L\\ 1\end{array}\right]=0---\left(12\right)$

其中，θ为摄像机转过的视轴夹角。通过左右摄像机拍摄的左右两幅图像上的对应点的图像坐标(X_R，Y_R)，(X_L，Y_L)，带入(1)中所求的内参，就可以求出反映两摄像机相对位置的基线距离B(总共拍摄八个点)。

因此，利用约束方程和本质矩阵F就可以完成对基线B的标定，同时应注意的是对基线的标定也是离线，标定好后不再变化。

(3)外参在线自标定

在每次下降的过程中，每个阶段摄像机都处于不断循环的三种状态(如图2所示)：

①阶段初始状态：摄像机处于初始位置或已完成一次在线外参数自标定的位置(即摄像机处于图1的状态)；

②中间状态：经过阶段初始状态后，旋翼机下降了一个所要求得的高度，但摄像机光轴位置仍保持不变；

③阶段最终状态：控制双目立体视觉系统改变光轴角度，使得系统满足着陆目标位于图像中心的要求。

为了使得每一时刻都满足公式适用条件，必须分析每个时刻在这三种状态下各个左右图像对的变化情况。以从时刻0到时刻1为例：

①对两个摄像机的图像进行采集，包括对采集图像的预处理，并进行特征点提取。

②从阶段初始状态至中间状态中，图像将产生偏移，其原因是由于高度的下降及由它引起的图像膨胀所致。通过对所引起的膨胀进行估算，得出仅仅由高度下降所导致的特征点图像偏移量Δx。

③利用在中间状态下所采集的左右图像对，进行补偿偏移处理。处理后的图像与阶段最终状态所要获得的左右图像对是一致的。此时，着陆目标图像位于图像的中心区域，重新满足图1的模型要求，根据式(1)、(5)计算出高度信息Z_W1及夹角信息θ₁

④将视轴夹角信息输入无人旋翼机的控制系统，控制云台上摄像机的转动，确保着陆目标始终处于左右两个摄像机的图像中心，以保证进行下一次的图像采集。

当从时刻1到时刻2，时刻2到时刻3，……时刻i-1到时刻i时重复上述步骤，就可实时地获取各个时刻的高度信息Z_W1，Z_W2，…，Z_Wi及云台夹角信息θ₁，θ₂，…，θ_i。

根据上述发明构思，本发明采用下述技术方案：

一种无人旋翼机仿生着陆系统的摄像机外参数在线自标定方法，其特征在于解决旋翼机下降过程中立体视觉的盲区问题，提高无人旋翼机的着陆精度，其实现操作步骤如下：

1)内参数标定：对标定图像进行拍摄，获取图像，计算出标定图像的图像坐标，带入计算公式获取内部参数，内部参数一旦标定将不再改变；

2)外参基线标定：在得到内部参数后，将两个摄像机固定到旋翼机机载，离线标定出两个摄像机光心之间的距离B；

3)外参数在线自标定：无人旋翼机着陆过程中，PC机采集卡对两个摄像机的图像进行采集，提取特征点，计算其特征点图像的偏移量，并对此偏移量补偿后，获取此时的高度信息和云台夹角信息；当无人机继续下降，重复以上步骤，实现无人旋翼机自主着陆的实时控制。

上述步骤1)内参数标定(内参标定1)采用下列三个步骤：

①拍摄标定图像，其标定图像的空间点分布必须符合图5所示。

②将图像坐标代入内参计算公式。在获取到标定图像后，可以得到标定图像上三个点在左右两个摄像机中的图像坐标，将这些图像坐标代入上述的内参计算公式(7)-(11)中，得到五个内参：焦距f与像素点在图像坐标u方向宽度的比值k_u、焦距f与像素点在图像坐标v方向宽度的比值k_v、图像平面不垂直光轴产生的畸变因子s、光轴与图像平面交点坐标p_u和p_v。

③获取内部参数，左右摄像机的内参相同，且一旦确定就将不再改变，包括了左右摄像机的焦距f。

上述步骤2)外参基线标定(外参基线标定2)的具体操作步骤如下：

①将两个摄像机固定到旋翼机机载上，拍摄标定块。为了便于计算，标定图像可以选取张正友的棋盘标定块。

②匹配左右图像的对应点。将左右摄像机拍摄到的两个图像进行匹配，找到相对应的点。

③选取八个对应点，计算八个对应点在左右摄像机上的图像坐标。

④利用基线约束方程及所求的八个坐标点的图像坐标计算出基线。在得到八个对应点的图像坐标后，连同内参数一起代入公式(12)中，可以得到一个方程组。解这个方程组，便可得到两个摄像机光心之间的距离，即基线B。

上述步骤3)外参数在线自标定(外参数在线自标定3)采用以下步骤实现：

①通过PC机采集卡对左右摄像机所拍摄到的着陆目标图像进行采集。在无人旋翼机开始进行着陆时，PC机中的采集卡就开始对两个摄像机拍摄到的着陆目标图像进行采集，得到阶段初始状态的数据图像。

②对所采集到的着陆目标图像进行预处理。由于拍摄到的图像受光线、噪声等影响，需要进行预处理，对图像除噪，排除干扰，便于特征点的提取。

③提取左右图像中相应的特征点。将左右摄像机拍摄到的着陆目标图像进行预处理后，可以分别对两副图像中的特征点进行提取(主要是着陆目标上的特征点)，匹配得到相对应特征点的图像坐标。

④计算特征点图像的偏移量。由于高度的下降，加上由它引起的图像膨胀，图像将产生偏移。通过对所引起的膨胀进行估算，得出仅仅由高度下降所导致的特征点图像偏移量Δx，得到中间状态的图像数据。

⑤对特征点图像的偏移量进行补偿。根据上一步得到的偏移量Δx对图像进行相应的补偿，使得着陆目标位于图像中心，此时处于阶段最终状态，满足公式推导的模型要求。

⑥实时提取左右两个摄像机的高度信息与夹角信息。将摄像机在阶段最终状态所采集到的图像坐标信息及摄像机内参数代入模型公式(1)、(5)，获得此时的高度信息及视轴夹角。

⑦控制云台转动，摄像机的视轴仿双眼变化。将视轴夹角信息输入无人旋翼机的控制系统，控制云台上摄像机的转动，确保着陆目标始终处于左右两个摄像机的图像中心，即位于摄像机的阶段初始状态，以保证进行下一次的图像采集。

⑧无人旋翼机继续下降，重复①-⑦的步骤，即可获得实时的夹角信息及高度信息。

本发明与现有技术相比较，具有如下显而易见的特点和优点：本发明很好地解决了摄像机视轴夹角发生改变时，对摄像机外参数的在线标定问题。在无人旋翼机着陆过程中，能够实时得到摄像机视轴夹角及旋翼机的高度信息，提供给控制系统，补偿平台自身的运动，保证降落目标处于监控图像的中心，消除盲区现象，提高降落的安全性。

附图说明

图1双目立体视觉模型图

图2无人旋翼机自主着陆过程中双摄像机的状态示意图

图3实例的系统示意图

图4总的系统框图

图5内参标定图像空间点的选取

图6摄像机的成像模型图

具体实施方式

本发明的一个优选实施例结合附图详述如下：参见图3，本无人旋翼机仿生着陆系统的摄像机在线外参数自标定方法所采用的整个系统，包括地面控制系统1(PC机)、机载控制系统2、无人旋翼机3及着陆目标4。其中机载上摄像机选用的型号为Canon VC-C50iR，焦距可变。

参见图4，本无人旋翼机仿生着陆系统的摄像机在线外参数自标定方法，采用的操作步骤如下：

(1)内参数标定(内参标定1)：

①拍摄标定图像，其标定图像的空间点分布必须符合图5所示。

②将图像坐标代入内参计算公式。在获取到标定图像后，可以得到标定图像上三个点在左右两个摄像机中的图像坐标，将这些图像坐标代入上述的内参计算公式(7)-(11)中，得到五个内参：焦距f与像素点在图像坐标u方向宽度的比值k_u、焦距f与像素点在图像坐标v方向宽度的比值k_v、图像平面不垂直光轴产生的畸变因子s、光轴与图像平面交点坐标p_u和p_v。

③获取内部参数，左右摄像机的内参相同，且一旦确定就将不再改变，包括了左右摄像机的焦距f。

(2)外参基线标定(外参基线标定2)：

①将两个摄像机固定到旋翼机机载上，拍摄标定块。为了便于计算，标定图像可以选取张正友的棋盘标定块。

②匹配左右图像的对应点。将左右摄像机拍摄到的两个图像进行匹配，找到相对应的点。

③选取八个对应点，计算八个对应点在左右摄像机上的图像坐标。

④利用基线约束方程及所求的八个坐标点的图像坐标计算出基线。在得到八个对应点的图像坐标后，连同内参数一起代入公式(12)中，可以得到一个方程组。解这个方程组，便可得到两个摄像机光心之间的距离，即基线B。

(3)外参数在线自标定(外参数在线自标定3)：

①通过PC机采集卡对左右摄像机所拍摄到的着陆目标图像进行采集。在无人旋翼机开始进行着陆时，PC机中的采集卡就开始对两个摄像机拍摄到的着陆目标图像进行采集，得到阶段初始状态的数据图像。为保证整个着陆过程中系统的安全性，验证算法的稳定性和标定精确度，设定在着陆初期，每隔10s采集一次着陆目标，随着高度下降至1.5米后，采集频率提高至5s，当高度下降至0.5米后，采集频率提高至2s。

②对所采集到的着陆目标图像进行预处理。由于拍摄到的图像受光线、噪声等影响，需要进行预处理，对图像除噪，排除干扰，便于特征点的提取。

③提取左右图像中相应的特征点。将左右摄像机拍摄到的着陆目标图像进行预处理后，可以分别对两副图像中的特征点进行提取(主要是着陆目标上的特征点)，匹配得到相对应特征点的图像坐标。

④计算特征点图像的偏移量。由于高度的下降，加上由它引起的图像膨胀，图像将产生偏移。通过对所引起的膨胀进行估算，得出仅仅由高度下降所导致的特征点图像偏移量Δx，得到中间状态的图像数据。

⑤对特征点图像的偏移量进行补偿。根据上一步得到的偏移量Δx对图像进行相应的补偿，使得着陆目标位于图像中心，此时处于阶段最终状态，满足公式推导的模型要求。

⑥实时提取左右两个摄像机的高度信息与夹角信息。将阶段最终状态所采集到的图像坐标信息及摄像机内参数代入模型公式(1)、(5)，获得此时的高度信息及视轴夹角。

⑦控制云台转动，摄像机的视轴仿双眼变化。将视轴夹角信息输入无人旋翼机的控制系统，控制云台上摄像机的转动，确保着陆目标始终处于左右两个摄像机的图像中心，即位于摄像机的阶段初始状态，以保证进行下一次的图像采集。

⑧无人旋翼机继续下降，重复①-⑦的步骤，即可获得实时的夹角信息及高度信息。

本发明方法用于无人旋翼机野外定点自主着陆过程中机载上双摄像机的实时外参数自标定，效果良好。当旋翼机接近地面时，仍可清晰地获得定位点区域的信息，有效地解决了双目立体视觉中的盲区问题，提高了旋翼机着陆系统的安全性。

Claims (1)

1.一种无人旋翼机仿生着陆系统的摄像机外参数在线自标定方法，其特征在于解决旋翼机下降过程中立体视觉的盲区问题，提高无人旋翼机的着陆精度，其实现操作步骤如下：

1)内参数标定：对标定图像进行拍摄，获取图像，计算出标定图像的图像坐标，带入计算公式获取内部参数，内部参数一旦标定将不再改变；

2)外参基线标定：在得到内部参数后，将两个摄像机固定到旋翼机机载，离线标定出两个摄像机光心之间的距离B；

3)外参数在线自标定：无人旋翼机着陆过程中，PC机采集卡对两个摄像机的图像进行采集，提取特征点，计算其特征点图像的偏移量，并对此偏移量补偿后，获取此时的高度信息和云台夹角信息；当无人机继续下降，重复以上步骤，实现无人旋翼机自主着陆的实时控制；

所述步骤1)内部参数标定采用下列三个具体步骤：

(1)拍摄标定图像；

(2)将图像坐标代入五个内部参数计算公式：

其中五个内部参数为焦距f与像素点在图像坐标u方向宽度的比值k_u、焦距f与像素点在图像坐标v方向宽度的比值k_v、图像平面不垂直光轴产生的畸变因子s、光轴与图像平面交点坐标p_u和p_v，其中(u_0z，v_0z)，(u_1z，v_1z)，(u_2z，v_2z)分别为点A₀、A₁、A₂对应的图像坐标，A₀、A₁、A₂三点为三个平板网格交点；

(3)获取内部参数，左右摄像机的内部参数相同，且一旦确定就将不再改变；

所述步骤2)外参基线标定的具体操作步骤如下：

(1)将两个摄像机固定到旋翼机机载上，拍摄标定块； 

(2)匹配左右图像的对应点；

(3)选取八个对应点，计算八个对应点在左右摄像机上的图像坐标；

(4)利用基线约束方程及所求的八个坐标点的图像坐标计算出基线；所述的基线约束方程为：

其中，θ为摄像机转过的视轴夹角，(X_R，Y_R)，(X_L，Y_L)是左右两幅图像上的对应点的图像坐标，(s，k_u，k_v，p_u，p_v)为摄像机的内部参数；B为两摄像机光心间的距离，

所述步骤3)外参数在线自标定采用以下操作步骤实现：

(1)通过PC机采集卡对左右摄像机所拍摄到的着陆目标图像进行采集；

(2)对所采集到的着陆目标图像进行预处理；

(3)提取左右图像中相应的特征点；

(4)计算特征点图像的偏移量；

(5)对特征点图像的偏移量进行补偿；

(6)实时提取左右两个摄像机的高度信息与夹角信息；

(7)控制云台转动，摄像机的视轴仿双眼变化；

(8)无人旋翼机继续下降，重复(1)-(7)中的步骤。 

Images