CN104897159A - 基于序列图像匹配的飞行器全程导航方法 - Google Patents

Abstract

本发明公开了一种基于序列图像匹配的飞行器全程导航方法，属于飞行器导航领域。利用三个方向的摄像头拍摄连续的序列图像，其中两个方向的摄像头拍摄图获得飞行器的俯仰角和横滚角；利用沿机体坐标系轴向下的摄像头拍摄图获得飞行器航向角，图像平移距离等参数；通过高度计获得的高度信息，将图像坐标系转换到相机坐标系；将飞行器的横滚角、俯仰角、航向角及其角速度，飞行器的高度、位置以及速度一次全部输出，作为飞行器当前的导航参数。本发明具有很高的匹配成功率与实时性，可以获得全程连续的导航参数，大大提升了导航精度；可以在一定程度上代替惯性导航，降低飞行器的导航成本，可广泛应用于中小型飞行器上。

Description

基于序列图像匹配的飞行器全程导航方法

技术领域

本发明涉及一种飞行器导航方法，具体讲是一种基于序列图像匹配的飞行器全程导航方法，属于飞行器导航领域。

背景技术

图像匹配导航是目前飞行器导航的热门研究领域，其具有成本低廉、受电磁干扰影响较小、信息丰富的等优点。传统的图像匹配利用飞行器采集的地面实时图与存储在存储设备中的基准图像进行匹配，获得的位置信息，其搜索量较大，较难获得实时的信息，而且不能有效获得飞行姿态，特别是俯仰角与横滚角，影响导航精度。此外，传统图像匹配导航大多为单幅图像匹配，也很难获得连续的飞行参数，在飞行器导航中处于辅助导航的地位，一般需要配合惯性导航仪器使用，用于消除惯性导航的累积误差。

惯性导航由于有其受外界影响较小，导航精度高等优点，一直作为飞行器导航的主要手段。但是惯性导航存在累积误差，在导航过程要进行清除；此外，惯性导航仪器的价格成本相对较高，阻碍其在小型飞机、无人机或者民用设备的导航系统中的应用。

发明内容

本发明所要解决有技术问题在于克服现有技术缺陷，提供一种无需与惯性导航仪器配合使用，可连续获得导航参数，导航精度高的基于序列图像匹配的飞行器全程导航方法。

为了解决上述技术问题，本发明提供的基于序列图像匹配的飞行器全程导航方法，包括在飞行器机体上沿机体坐标系分别安装纵轴向前的摄像头A、横轴向右的摄像头B、竖轴向下的摄像头C；在所述摄像头C的位置处安装高度计；

1)、在飞行器起飞前，对飞行路径进行航迹规划，生成基准图并标定特征区域；

2)、飞行过程中通过摄像头A、摄像头B和摄像头C，以相同的时间间隔Δt，连续拍摄序列图像A、序列图像B和序列图像C；

3)、对序列图像A进行地平线提取，并对地平线进行直线拟合，计算所述直线与图像水平方向夹角的绝对值，得到飞行器的横滚角φ的绝对值，取飞行器绕纵轴右滚为正；对序列像B进行地平线提取，并对地平线进行直线拟合，计算所述直线与图像水平方向夹角的绝对值，得到飞行器俯仰角θ的绝对值，取飞行器抬头为正；

4)、根据相邻帧间高度计的高度信息变化，对序列图像C进行图像采样，使序列图像C中任意相邻两帧图像景物处于同一尺寸；

5)、通过图像匹配得出序列图像C中各帧间图像像素平移向量图像旋转角度和飞行器的航向角ψ，航向角ψ取机头沿纵轴右偏为正；所述飞行器的航向角ψ为序列图像C中各图像旋转角度的累计；

6)、利用高度计的高度信息与所述横滚角φ、俯仰角θ和平移向量将平移向量从图像坐标系转换到相机坐标系；

7)、判断帧间横滚角φ、俯仰角θ在两帧图像间是否有变化，若有，则对飞行器在相机坐标系飞行距离进行修正，计算飞行器帧间飞行距离与速度；

8)、将飞行器的横滚角φ、俯仰角θ、航向角ψ及其角速度，飞行器的高度、位置以及速度输出，作为飞行器当前的导航参数。

9)、在飞行器导航过程中重复上述步骤不断计算飞行器位置，当序列图像经过基准图中的特征区域时，将序列图像与所述特征区域进行图像匹配，消除序列图像导航中产生的累积误差。

作为优选，上述步骤6)的过程为：计算序列图像C中任意后一帧图像中心点在前一帧图像中位置，同时计算后一帧图像中心点在相机坐标系中位置；计算序列图像C中前一帧图像中心点位置，同时计算前一帧图像中心点位置在相机坐标系中位置；所述后一帧图像中心点位置与前一帧图像中心点位置在相机坐标系中的之差为相机坐标系中的平移向量；从图像坐标系转换到相机坐标系的模型为：

$\left[\begin{array}{c}{X}_C\\ Y_C\\ 1\end{array}\right]=\left[\begin{array}{ccc}{Z}_C/f& 0& 0\\ 0& Z_C/f& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}\mathrm{dx}& 0& -u_0\mathrm{dx}\\ 0& \mathrm{dy}& -v_0\mathrm{dy}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]---\left(2\right)$

式中，X_C、Y_C为序列图像C中图像在相机坐标系中坐标，u，v为图像C中图像像素在图像坐标系中坐标，u₀、v₀摄像机光轴经过图像坐标系平面的坐标，f为焦距，Z_C为相机中心点到地面距离，Z_C＝h/(cos(θ)·cos(φ))，h为高度计获得的高度信息。

本发明的有益效果是：(1)、本发明基于利用三个方向的摄像头拍摄连续序列图像，各序列图像间由于大小相同，尺度变化小，噪声分布相同，具有很高的匹配成功率与实时性，可以获得全程连续的导航参数，大大提升了导航精度；其可以在一定程度上代替惯性导航，降低飞行器的导航成本，可广泛应用于中小型飞行器上；(2)、将序列图像与基准图规定特征区域匹配，可自主消除利用图像匹配可能产生累积误差，提升导航精度与效率；(3)、本发明器件模块化程度高，便于维修替换，器件成本低廉，重量轻，可有效保证飞行器的机动性；(4)、本发明器件模块化程度高，便于维修替换，器件成本低廉，重量轻，降低了飞行器中导航系统的成本，提高了飞行器的机动性；其在进行连续导航的同时，还可以获得飞行器下方的地理信息，以便于更广泛地应用。

附图说明

图1是本发明飞行器机体坐标系中三个摄像头位置示意图；

图2是本发明基于序列图像匹配的飞行器全程导航方法流程图；

图3是本发明中图像坐标系、成像平面坐标系、相机坐标系关系图；

图4是摄像头C拍摄相邻两帧拍摄图示意图；

图5是地平线拟合线在图像坐标系中的示意图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

如图1所示，本发明是基于序列图像匹配的飞行器全程导航方法中需沿机体坐标系安装纵轴向前的摄像头A、横轴向右的摄像头B、竖轴向下摄像头C，并在摄像头C的部位装一个高度计；同时安装数据处理芯片、用于存储基准图的存储器件。

如图2所示，本发明基于序列图像匹配的飞行器全程导航方法采取如下步骤：

步骤1：在飞行器起飞前，对飞行路径进行航迹规划，生成基准图，对路径中特征明显、匹配成功率高的区域进行标定，称为规定特征区域。

步骤2：飞行器起飞及飞行过程中同时开启沿机体坐标系机体纵轴向前的摄像头A，横轴向右的摄像头B，竖轴向下摄像头C，连续拍摄序列图像A(a₁,a₂,a₃,……,a_n-1,a_n),序列图像B(b₁,b₂,b₃,……,b_n-1,b_n)和序列图像C(c₁,c₂,c₃,……,c_n-1,c_n)。拍摄过程中，各序列图像相邻帧间的时间间隔为Δt，该时间间隔保证在飞行器最高速度飞行时，相邻两帧图像之间仍然保持较高的重叠区域，以保证序列图像间的匹配具有较高的成功率，同时能保证在Δt内能完成图像匹配提取导航参数。飞行过程中，摄像头A和摄像头B并非要严格沿机体系轴设置，如果飞行器飞行高度较高，可适当向下调整，以保证能拍摄到地平线，这并不影响对姿态角的测量。

步骤3：对序列图像A(a₁,a₂,a₃,……,a_n-1,a_n)进行地平线提取，并对地平线进行直线拟合，计算该直线与图像水平方向的夹角，该夹角的绝对值即为飞行器的横滚角θ的绝对值，因横滚角有正负之分，此处采用经典的横滚角定义，取飞行器绕纵轴右滚为正。构建此导航系统时，结合具体飞行器绕纵轴滚动时，地平线拟合线在图像中变化来判断横滚角的正负性。对序列图像B(b₁,b₂,b₃,……,b_n-1,b_n)进行地平线提取，并对地平线进行直线拟合，计算该直线与图像水平方向的夹角，该夹角的绝对值即为飞行器的俯仰角θ的绝对值，因俯仰角有正负之分，此处采用经典的俯仰角定义，取飞行器抬头为正。构建此导航系统时，结合具体飞行器抬头时，地平线拟合线在图像中变化来判断俯仰角的正负性。

如图5所示，对序列图像的地平线进行直线拟合时，在图像坐标系中进行，拟合出地平线在u、v轴上的截距，对于摄像头A的一帧序列图拟合出在u轴截距为a₁、v轴截距为b₁，利用公式|φ|＝|arctan(b₁/a₁)|，计算出横滚角的φ绝对值。对于摄像头B的一帧序列图拟合出在u轴截距为a₂、v轴截距为b₂，利用公式|θ|＝|arctan(b₂/a₂)|，计算出俯仰角θ的绝对值。

同时利用公式(1)计算出横滚角速度ω_φ，俯仰角速度ω_θ。

$\left[\begin{array}{c}{\mathrm{\ω}}_{\mathrm{\φn}}\\ {\mathrm{\ω}}_{\mathrm{\θn}}\end{array}\right]=\left[\begin{array}{cccc}\frac{-1}{2\mathrm{\Δt}}& \frac{1}{2\mathrm{\Δt}}& 0& 0\\ 0& 0& \frac{-1}{2\mathrm{\Δt}}& \frac{1}{2\mathrm{\Δt}}\end{array}\right]\left[\begin{array}{c}{\mathrm{\φ}}_{n-1}\\ {\mathrm{\φ}}_n\\ {\mathrm{\ω}}_{n-1}\\ {\mathrm{\ω}}_n\end{array}\right]---\left(1\right)$

步骤4：判断序列图像C相邻帧间高度计高度变化，对序列图像C(c₁,c₂,c₃,……,c_n-1,c_n)进行图像采样。在飞行高度升高时，后一帧图c_n相对与前一帧图像c_n-1景物会放大，利用高度信息与摄像头参数，对后一帧图像c_n进行下采样，以保证两帧图像景物处于同一尺寸，保证匹配的成功率；在飞行高度降低时，后一帧图c_n相对与前一帧图像c_n-1景物会缩小，利用高度信息与摄像头参数，对前一帧图像c_n-1进行下采样，以保证两帧图像景物处于同一尺寸，如图4所示。

步骤5：利用光流法或其他现有的图像匹配方法，计算出序列图像C(c₁,c₂,c₃,……,c_n-1,c_n)帧间图像像素平移向量图像旋转角度和两帧图像间旋转角度Δψ，此Δψ即为两帧间航向角变化。因航向角变化有正负之分，此处采用经典的航向角定义，取飞行器沿纵轴右偏为正，构建此导航系统时，结合具体飞行器右偏时，两帧图像旋转变化来判断Δψ的正负性。序列图像C的旋转角度累计即为航向角ψ，航向角速率即为ω_ψ＝Δψ/Δt。

步骤6：利用高度计获得的高度信息、横滚角φ、俯仰角θ和平移向量信息，将平移向量从图像坐标系转换到相机坐标系，如图3所示。

坐标系转换先计算序列图像C中后一帧图像c_n中心点在前一帧图像c_n-1中位置(x₁,y₁)，并计算该点在相机坐标系中位置；再计算前一帧图像c_n-1中心点位置(x₀,y₀)，计算该位置在相机坐标系中位置。两坐标相减即为在相机坐标系中平移向量。坐标从图像坐标系转换到相机坐标系利用如下方程：

$\left[\begin{array}{c}{X}_C\\ Y_C\\ 1\end{array}\right]=\left[\begin{array}{ccc}{Z}_C/f& 0& 0\\ 0& Z_C/f& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}\mathrm{dx}& 0& -u_0\mathrm{dx}\\ 0& \mathrm{dy}& -v_0\mathrm{dy}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]---\left(2\right)$

式中，X_C、Y_C为序列图像C中图像在相机坐标系中坐标，u，v为图像C中图像像素在图像坐标系中坐标，u₀、v₀摄像机光轴经过图像坐标系平面的坐标，f为焦距，Z_C为相机中心点到地面距离，Z_C＝h/(cos(θ)·cos(φ))，h为高度计获得的高度信息；

对两帧图像中心点坐标(x₁,y₁)与(x₀,y₀)，利用变换公式(2)，得到

$\left[\begin{array}{c}{X}_{C1}\\ Y_{C1}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{Z}_C/f& 0& 0\\ 0& Z_C/f& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}\mathrm{dx}& 0& -u_0\mathrm{dx}\\ 0& \mathrm{dy}& -v_0\mathrm{dy}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]---\left(3\right)$

$\left[\begin{array}{c}{X}_{C0}\\ Y_{C0}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{Z}_C/f& 0& 0\\ 0& Z_C/f& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}\mathrm{dx}& 0& -u_0\mathrm{dx}\\ 0& \mathrm{dy}& -v_0\mathrm{dy}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_0\\ y_0\\ 1\end{array}\right]---\left(4\right)$

$\left[\begin{array}{c}{\mathrm{\ΔX}}_C\\ {\mathrm{\ΔY}}_C\end{array}\right]\left[\begin{array}{cccc}1& 0& -1& 0\\ 0& 1& 0& -1\end{array}\right]\left[\begin{array}{c}{X}_{C1}\\ Y_{C1}\\ X_{C0}\\ Y_{C0}\end{array}\right]---\left(5\right)$

求得相机坐标系中的平移向量

步骤7：判断帧间横滚角φ、俯仰角θ在两帧图像间是否有变化，若有，则对飞行器在相机坐标系的飞行距离进行修正，并计算飞行器帧间飞行距离与速度。

若有横滚角变化δφ，则将引起飞行器在相机坐标系中沿Y_C轴的平移，其平移距离为δY_C，需对步骤6中的ΔY_C进行修正。

若有俯仰角变化δθ，则将引起飞行器在相机坐标系中沿X_C轴的平移，其平移距离为δX_C，需对步骤6中的ΔX_C进行修正。

修正方程为：

$\left[\begin{array}{c}{{\mathrm{\ΔX}}_C}^{\′}\\ {{\mathrm{\ΔY}}_C}^{\′}\end{array}\right]=\left[\begin{array}{cccc}1& 0& -h& 0\\ 0& 1& 0& -h\end{array}\right]\left[\begin{array}{c}{\mathrm{\ΔX}}_C\\ {\mathrm{\ΔY}}_C\\ \tan \mathrm{\θ}-\tan (\mathrm{\θ}-\mathrm{\δ\θ})\\ \tan \mathrm{\φ}-\tan (\mathrm{\φ}-\mathrm{\δ\φ})\end{array}\right]---\left(6\right)$

式中，h为高度计获得的高度信息。

步骤8：将横滚角φ，俯仰角θ，航向角ψ以及其角速度，飞行器的高度、位置以及速度一次性输出，作为飞行器当前的导航参数。

步骤9：重复以上步骤利用序列图像不断计算飞行器位置，当序列图像经过基准图中的规定特征区域时，将序列图像与基准图规定特征区域进行图像匹配，消除序列图像导航中可能产生的累积误差。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下还可以做出若干改进，这些改进也应视为本发明的保护范围。

Claims (2)

1.一种基于序列图像匹配的飞行器全程导航方法，其特征在于：沿机体坐标系分别安装纵轴向前的摄像头A、横轴向右的摄像头B、竖轴向下的摄像头C；在所述摄像头C的位置处安装高度计；

1)、在飞行器起飞前，对飞行路径进行航迹规划，生成基准图并标定特征区域；

2)、飞行过程中通过摄像头A、摄像头B和摄像头C，以相同的时间间隔Δt，连续拍摄序列图像A、序列图像B和序列图像C；

3)、对序列图像A进行地平线提取，并对地平线进行直线拟合，计算所述直线与图像水平方向夹角的绝对值，得到飞行器的横滚角φ的绝对值，取飞行器绕纵轴右滚为正；对序列像B进行地平线提取，并对地平线进行直线拟合，计算所述直线与图像水平方向夹角的绝对值，得到飞行器俯仰角θ的绝对值，取飞行器抬头为正；

4)、根据相邻帧间高度计的高度信息变化，对序列图像C进行图像采样，使序列图像C中任意相邻两帧图像景物处于同一尺寸；

5)、通过图像匹配得出序列图像C中各帧间图像像素平移向量图像旋转角度和飞行器的航向角ψ，航向角ψ取机头沿纵轴右偏为正；所述飞行器的航向角ψ为序列图像C中各图像旋转角度的累计；

6)、利用高度计的高度信息与所述横滚角φ、俯仰角θ和平移向量将平移向量从图像坐标系转换到相机坐标系；

7)、判断帧间横滚角φ、俯仰角θ在两帧图像间是否有变化，若有，则对飞行器在相机坐标系飞行距离进行修正，计算飞行器帧间飞行距离与速度；

8)、将飞行器的横滚角φ、俯仰角θ、航向角ψ及其角速度，飞行器的高度、位置以及速度输出，作为飞行器当前的导航参数。

9)、在飞行器导航过程中重复上述步骤不断计算飞行器位置，当序列图像经过基准图中的特征区域时，将序列图像与所述特征区域进行图像匹配，消除序列图像导航中产生的累积误差。

2.根据权利要求1所述的基于序列图像匹配的飞行器全程导航方法，其特征在于所述步骤6)的过程为：计算序列图像C中后一帧图像中心点在前一帧图像中位置和后一帧图像中心点在相机坐标系中位置；计算序列图像C中前一帧图像中心点位置和前一帧图像中心点位置在相机坐标系中位置；所述后一帧图像中心点位置与前一帧图像中心点位置在相机坐标系中的之差为相机坐标系中的平移向量；从图像坐标系转换到相机坐标系的模型为：

$\left[\begin{array}{c}{X}_C\\ Y_C\\ 1\end{array}\right]=\left[\begin{array}{ccc}{Z}_C/f& 0& 0\\ 0& Z_C/f& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}\mathrm{dx}& 0& -u_0\mathrm{dx}\\ 0& \mathrm{dy}& -v_0\mathrm{dy}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]---\left(2\right)$

式中，X_C、Y_C为序列图像C中图像在相机坐标系中坐标，u，v为图像C中图像像素在图像坐标系中坐标，u₀、v₀摄像机光轴经过图像坐标系平面的坐标，f为焦距，Z_C为相机中心点到地面距离，Z_C＝h/(cos(θ)·cos(φ))，h为高度计获得的高度信息。