CN103347785A - 一种无人机自动回收方法 - Google Patents

Abstract

本发明涉及一种无人机（UAV，unmanned aerial vehicle）的自动回收方法，更详细地涉及一种利用基准轨迹的基于无人机影像的自动回收方法，其组合应用对搭载于无人机上的导航装置和前方影像摄像机的信息加权的方式。本发明提供一种利用基准轨迹的基于无人机影像的自动回收方法，其包括：基准轨迹生成步骤，其利用通过无线通信提供给无人机的回收地点，在飞机上生成连接回收地点和排列地点的基准轨迹；影像处理步骤，其通过搭载在无人机的前方影像摄像机获得包括标志物（撞网）的影像，并利用影像处理装置掌握所获得的影像中的标志物的位置和大小，并计算无人机和标志物之间的距离；姿势指令生成步骤，其利用从所述影像处理步骤获得的影像中心到标志物的位置，生成将中心对准标志物的姿势指令；及虚拟轨迹生成步骤，其将所述基准轨迹生成步骤生成的基准轨迹和所述姿势指令生成步骤生成的姿势指令进行组合，生成虚拟轨迹，并且越是从排列地点临近回收地点，越是增加姿势指令的权重来生成虚拟轨迹。

Description

一种无人机自动回收方法

技术领域

本发明涉及一种无人机（UAV，unmanned aerial vehicle）的自动回收方法，更详细地涉及一种利用基准轨迹的基于无人机影像的自动回收方法，其组合应用对搭载在无人机上的导航装置和在前方影像摄像机的信息加权的方式。

背景技术

无人机通过自动算法飞行，因此为达到完善的自动系统，应当能够自动起飞着陆。但是，像韩国一样山岳地形多的情况，由于确保着陆的距离短，从而限制了回收时可用的方法，至今尚无利用在短距离内有效可回收撞网的无人机自动回收方法。

撞网回收，其回收地点和范围被规定在飞行体大小的约2～3倍，因此比其它回收方法要求更高的精确度。虽然利用差分全球定位系统(DGPS)、激光、雷达可保障精确度高，但由于韩国的地形条件，不利于使用差分全球定位系统信号，并且使用激光或雷达的方法虽然精确度高，但存在构建费用高，自身难以开发技术的缺点。

此外，利用影像信息的方法虽然有构建及开发费用低廉、在近距离精确度高的优点，但在单纯使用影像信息的情况下，只使用相对位置及距离，因此存在难以控制高度的缺点。

而且，还有一种利用基准轨迹的方法，在利用基准轨迹的情况下，因生成并追踪连接规定的起点和终点的最优的航路，虽然具有能够控制维持用于朝向预计地点的最优高度的优点，但对于撞网回收，其回收地点和范围规定在飞行体大小的约2～3倍，因此存在难以提供如此高的精确度的缺点。

发明内容

（一）要解决的技术问题

本发明是为了解决上述所问题提出的，其目的在于提供一种利用基准轨迹的基于影像的自动回收方法，其同时利用影像信息和基准轨迹。即，生成连接根据风向和执行的任务规定的回收地点和排列地点的基准轨迹后，在回收区间（排列地点至回收地点之间）初期，利用导航装置的信息来追踪基准轨迹，随着临近回收地点，增加利用精确度高的影像处理所生成指令的权重的方式，从而同时利用基准轨迹方式的优点和利用影像信息方式的优点。

（二）技术方案

本发明提供一种利用基准轨迹的基于无人机影像的自动回收方法，其包括：基准轨迹生成步骤，其利用通过无线电通信提供给无人机的回收地点，在飞机上生成连接回收地点和排列地点的基准轨迹；影像处理步骤，其通过搭载在无人机的前方影像摄像机获得包括标志物（撞网）的影像，并利用影像处理装置掌握所获得的影像中的标志物的位置和大小，并计算无人机和标志物之间的距离；姿势指令生成步骤，其利用从所述影像处理步骤获得的影像中心到标志物的位置，生成将中心对准标志物的姿势指令；及虚拟轨迹生成步骤，其将所述基准轨迹生成步骤生成的基准轨迹和所述姿势指令生成步骤生成的姿势指令进行组合，生成虚拟轨迹，并且越是从排列地点临近回收地点，越是增加姿势指令的权重来生成虚拟轨迹。

在此，具有以下特征：所述基准轨迹设置成从所述排列地点到回收地点经过一个以上的航路点，并在通过各航路点前，生成朝向下一航路点的虚拟基准轨迹，并利用搭载的导航装置的信息生成引导控制指令，使其能够按照所生成的虚拟基准轨迹飞行。

此外，还具有以下特征：所述姿势指令计算出所获得的影像中心和标志物位置之间的方向角（ψVPUCmd）和高角（θVPUCmd），并按照计算出的方向角（ψVPUCmd）和高角（θVPUCmd）的大小，下达指令转换无人机的方向。

此外，还具有以下特征：所述虚拟轨迹生成步骤中的权重赋予随着从排列地点逐步临近回收地点，姿势指令的比重从0%到100%线性增大。

此外，还具有以下特征：所述虚拟轨迹生成步骤中用于赋予权重的距离计算，利用所述影像处理步骤中计算出的无人机和标志物之间的距离。

此外，还具有以下特征：所述虚拟轨迹生成，在初期排列步骤中利用导航信息追踪基准轨迹，并在作为终端区间的回收地点，利用精确度高的影像信息生成姿势指令来提高精确度。

（三）有益效果

使用本发明，可以使用利用基准轨迹的基于影像的自动回收方法，其同时应用影像信息和基准轨迹。

即，生成连接根据风向和执行的任务规定的回收地点和排列地点的基准轨迹后，在回收区间（排列地点至回收地点之间）初期，追踪基准轨迹，随着临近回收地点，利用对通过精确度高的影像处理生成的指令增加权重的方式，并用利用基准轨迹方式的优点和利用影像信息方式的优点，从而能够进行精确度更高的无人机自动回收。

附图说明

图1是说明本发明基于基准轨迹及影像的无人机回收方法的概略图。

图2是例示本发明基于影像的自动回收方案的预示参考图。

图3是本发明生成虚拟基准轨迹的概念图。

图4是表示本发明利用虚拟基准轨迹变更途经点的概念图。

图5是表示本发明用于计算虚拟航路点的变量定义的示意图。

图6是表示本发明用于处理从前方影像摄像机获得影像的变量定义的示意图。

图7是表示本发明测定标志物（撞网）视线角成分的示意图。

图8是表示利用根据本发明的基准轨迹的基于无人机影像的自动回收方法的实施步骤的方框图。

图9是表示本发明生成飞行体姿势操纵指令原理的方框图。

具体实施方式

下面，参照附图详细说明本发明的优选实施例。首先，本说明书及权利要求书中所使用的术语或单词不能解释为常用的或词典中的含义，发明人立足以下原则，即，为了将自身的发明用最合适的方法说明，要将术语的概念合适地定义，从而解释为符合本发明的技术思想的含义和概念。

因此，本说明书所记载的实施例和附图中表示的结构只是本发明最优选的一个实施方式，并不代表本发明的所有技术性思想，从本申请的角度应理解可以具有能够代替它们的多种相等物和变形例。

无人机通过自动算法飞行，因此为达到完善的自动系统，应当能够自动起飞着陆。但是，像韩国一样山岳地形多的情况，由于能够确保着陆的距离短，从而限制了回收时可使用的方法。

撞网回收，其回收地点和范围被规定在飞行体大小的约2～3倍，因此比其它回收方法要求更高的精确度。虽然利用差分全球定位系统(DGPS)、激光、雷达可保障高的精确度，但由于韩国的地形条件，不利于使用差分全球定位系统信号，并且使用激光或雷达的方法虽然精确度高，但存在构建费用高、自身难以开发技术的缺点。

此外，利用影像信息的方法，虽然具有构建及开发费用低廉、在近距离精确度高的优点，但在单纯利用影像信息的情况下，只利用相对位置及距离，因此难以控制高度。本发明为了克服上述的缺点，提供利用基准轨迹的方法，在利用基准轨迹的情况下，生成并追踪连接规定的起点和终点的最合适的航路，从而能够控制维持朝向规定地点的最合适的高度。

如图1、2所示，利用基准轨迹的基于影像的自动回收，生成连接根据风向和执行的任务规定的回收地点和排列地点的基准轨迹后，在回收区间（排列地点至回收地点之间）初期追踪基准轨迹，随着临近回收地点，利用对通过精确度高的影像处理生成的指令增加权重的方式。此时，权重是根据距离来规定，因此将同时进行利用获得的影像的距离计算。

同时，如图2所示，通过内部操纵员规定可着落地点，即地图上的撞网位置，此时的位置误差为约50m左右。该位置通过无线通信传送到无人机，并利用搭载的飞行控制计算机规定标志物排列地点P0，并生成连接它们的基准轨迹。该基准轨迹上设置有影像识别地点P1，以该地点为基点将增加影像信息的权重。随着临近回收地点P4，影像信息的精确度得到提高，从决定点（P2，回收或回避决定）可知实际回收地点（P4，撞网位置），当影像识别不稳定或计算误差大于预设值时，自动执行回避机动。

如图8所示，本发明的利用基准轨迹的基于无人机影像的自动回收方法包括：基准轨迹生成步骤S10、影像处理步骤S20、姿势指令生成步骤S30及虚拟轨迹生成步骤S40。

本发明一般所需硬件为前方影像摄像机，影像处理装置及飞行控制计算机，所需软件为基准轨迹生成，获得影像处理，生成控制指令等的算法。以下进行详细说明。

基准轨迹生成步骤（S10），其通过无人机操纵员的操作生成基准轨迹，所述基准轨迹为连接回收飞行中的无人机的回收地点和排列地点的轨迹。

用于执行基于影像的自动回收的初期引导算法通过生成经过图2各关键点P0、P1、P2、P3、P4的基准轨迹来生成追踪其轨迹的引导指令。此时，需要一种算法，其在经过各航路点（关键点）朝向下一个航路点的过程中，用于防止脱离基准轨迹。特别是在自动回收过程中，高度下降变更航路点时，以比希望的高度低的高度飞行的情况下，会有坠机的危险。为防止发生该事故，在经过航路点之前，生成朝向下一个航路点的新的基准轨迹，并生成根据该轨迹的引导指令。

即，所述基准轨迹设定为从所述排列地点到回收地点经过一个以上的航路点，并要在通过各航路点前，生成朝向下一个航路点的虚拟基准轨迹，并使其能够按照所生成的虚拟基准轨迹来生成引导控制指令。

如图3所示，生成用于追踪连接各航路点的基准轨迹的虚拟基准轨迹，以追踪实际基准轨迹。虚拟基准轨迹通过在基准轨迹上设定虚拟航路点（Virtual Waypoint），以使从无人机10到目标航路点剩余距离具有一定距离（虚拟参考距离，Virtual reference distance）的差异。

如图4所示，生成利用虚拟基准轨迹的变更的航路点。此时，以变更的航路点为基准，虚拟基准轨迹最终会通过划出柔和的曲线而执行，从而防止航路点变更过程中发生的基准曲线脱离。

图5所示，为了计算虚拟航路点，定义各变量。本发明将对利用虚拟基准轨迹的航路点变更及无人机的移动航路设定的根据本发明的实施例进行说明。

只要在惯性坐标系中已知有各航路点的位置，即可将R，d_ref如式1所示分别进行计算。利用变量δ，计算出（d_vir）并求出（R_vir）。

$R=\sqrt{{(X_{\mathrm{WP}2}-X_{\mathrm{WP}1})}^2+{(X_{\mathrm{WP}2}-Y_{\mathrm{WP}1})}^2+{(H_{\mathrm{WP}2}-H_{\mathrm{WP}1})}^2}$

$d_{\mathrm{ref}}=\sqrt{{(X_{\mathrm{WP}2}-X_{\mathrm{uav}})}^2+{(Y_{\mathrm{WP}2}-Y_{\mathrm{uav}})}^2+{(H_{\mathrm{WP}2}-H_{\mathrm{uav}})}^2}$ 式1

d_vir=d_ref-δ

R_vir=R-d_vir          式2

为了计算基准轨迹上的虚拟航路点，求出基准轨迹的方向角（Ψ_ref）和航路角（γ_ref）。

${\mathrm{\ψ}}_{\mathrm{ref}}=\frac{\mathrm{\π}}{2}-{\tan }^{-1}\left(\frac{X_{\mathrm{WP}2}-X_{\mathrm{WP}1}}{Y_{\mathrm{WP}2}-Y_{\mathrm{WP}1}}\right)$ 式3

${\mathrm{\γ}}_{\mathrm{ref}}={\tan }^{-1}\left(\frac{H_{\mathrm{WP}2}-H_{\mathrm{WP}1}}{\sqrt{{(X_{\mathrm{WP}2}-X_{\mathrm{WP}1})}^2+{(Y_{\mathrm{WP}2}-Y_{\mathrm{WP}1})}^2}}\right)$ 式4

最终，虚拟航路点的坐标可以利用式5计算出。

X_vir＝X_WP1+R_vircosψ_refcosγ_ref

Y_vir＝Y_WP1+R_virsinψ_refcosγ_ref

H_vir＝H_WP1+R_virsinγ_ref          式5

生成朝向基准轨迹上的虚拟航路点的引导指令，可以最终追踪基准轨迹。朝向虚拟航路点的引导指令通过设定当前无人机的位置和虚拟航路点之间所生成的目标点（aiming point），从而利用目标点的高度和方向角来生成。将从无人机的位置到目标点的距离设为η，利用式6及式7可以计算出目标点的位置。

${\mathrm{\ψ}}_{\mathrm{vir}}=\frac{\mathrm{\π}}{2}-{\tan }^{-1}\left(\frac{X_{\mathrm{vir}}-X_{\mathrm{uav}}}{Y_{\mathrm{vir}}-Y_{\mathrm{uav}}}\right)$ 式6

${\mathrm{\γ}}_{\mathrm{vir}}={\tan }^{-1}\left(\frac{H_{\mathrm{vir}}-H_{\mathrm{uav}}}{\sqrt{{(X_{\mathrm{vir}}-X_{\mathrm{uav}})}^2+{(Y_{\mathrm{vir}}-Y_{\mathrm{uav}})}^2}}\right)$ 式7

目标点的位置X_aim、Y_aim、H_aim由下述的式8表示。

X_aim＝X_uav+ηcosψ_vircosγ_vir

Y_aim＝Y_uav+ηsinψ_vircosγ_vir

H_aim＝H_uav+ηsinγ_vir          式8

因已经从式8计算出目标点的位置X_aim、Y_aim、H_aim及从式6计算出虚拟基准轨迹的方向角（ψ_vir），因此将该值认定为控制器的引导指令。此时，优选地速度指令设定成能够维持初期着陆进入速度。

ψ_vir→ψ_cmd，H_aim→H_cmd，V_initial→V_cmd     式9

影像处理步骤S20，其通过设置在无人机上的前方影像摄像机获得包括标志物（撞网）的影像，并利用影像处理装置掌握所获得的影像中的标志物的位置和大小，并计算无人机和标志物之间的距离。

如图6所示，通过设置在无人机上的前方影像摄像机获得的影像，只处理相关区域，并以标志物（拍摄影像中的撞网）的色彩成分为基准进行二进制化。二进化的影像通过过滤器而被去除图像噪声，而在二进制化的影像中只留下标志物。利用式10及式11计算求出影像中的标志物的中心位置（U_p，V_p）和大小（b_im）。

$u_p=\frac{{\mathrm{\Σx}}_i}{\mathrm{Area}},v_p=\frac{{\mathrm{\Σy}}_i}{\mathrm{Area}}$ 式10

b_im＝max_x-min_x          式11

在此，（U_p，V_p）为影像中标志物的位置，可以通过提取的像素的个数和面积求出。此外，（b_im）为标志物的大小，因标志物为对称形，只要知道最右侧的像素和最左侧像素的x或y轴值，即可求出标志物的大小。利用标志物的位置和大小，可以求出根据距离的撞网中心位置（U_p，V_p），并利用该位置生成无人机排列指令（姿势指令）。

如图7所示，为求出从摄像机获取的影像和实际物体之间的关系，经过校准，即可求出式12的摄像机特性的内部矩阵（intrinsicmatrix）（利用一般校准的内部矩阵）。

$A=\left[\begin{array}{ccc}{k}_{u}f& \mathrm{\γ}& u_0\\ 0& k_{v}f& v_0\\ 0& 0& 1\end{array}\right]$ 式12

在此，kf，kf为比例因子（scale factor），指图7中的f（焦点距离）。γ，（u，v）分别为失真度和中心点。摄像机在特性上，所获得影像的中点与摄像机的中心不一致，因此需要在影像处理过程中补偿中心点。

式12中获得的摄像机的特性用于求出无人机标志物的位置和视线角成分的过程。如下述的式13所示，可以求出方向角（ψ_VPUCmd）和高角（θ_VPUCmd），当已知标志物的大小（b_im）时，可以利用式14求出到标志物的距离（Z_c）。

${\mathrm{\ψ}}_{\mathrm{VPUCmd}}={\tan }^{-1}\left(\frac{u_p-u_0}{k_{u}f}\right)$

${\mathrm{\θ}}_{\mathrm{VPUcmd}}={\tan }^{-1}\left(\frac{v_p-v_0}{k_{v}f}\right)$

式13

$Z_C=\frac{b_{\mathrm{real}}{k}_{v}f}{b_{\mathrm{im}}}$ 式14

姿势指令生成步骤S30，其利用从所述影像处理步骤S20获得的影像中心到标志物的位置，生成将中心对准标志物的姿势指令。该步骤利用所述的式13及式14计算所获得的影像中心和标志物位置间的方向角（ψ_VPUCmd）和高角（θ_VPUCmd），并按照计算出的方向角（ψ_VPUCmd）和高角（θ_VPUCmd）的大小，下达指令转换无人机的方向。

虚拟轨迹生成步骤S40，其将所述基准轨迹生成步骤生成的基准轨迹和所述姿势指令生成步骤生成的姿势指令进行组合，生成虚拟轨迹，并且越是从排列地点临近回收地点，越是增加姿势指令的权重来生成虚拟轨迹。

在此，所述虚拟轨迹生成步骤中的权重赋予可以有多种方式，可以是随着从排列地点逐步临近回收地点，使姿势指令的比重从0%到100%的线性增大的方式，或以指数函数（exponential）方式增大的方式。并非限定于此，也可以有多种组合和方式。

同时，所述虚拟轨迹生成步骤中用于赋予权重的距离计算，可以利用所述影像处理步骤中计算出的无人机和标志物之间的距离。

本发明根据无人机和回收地点之间的距离，赋予适合于基准轨迹追踪和影像处理结果的权重，从而进行精确度高且稳定的控制。本发明的各算法持续地进行演算，并在末端的权重函数（WeightingFunction）中决定更倾向于哪种算法。本发明使用线性权重赋予函数，其最简单，且能够赋予对距离的权重。式15为用于生成最终控制指令的权重赋予的式子。

$B_{\mathrm{cmd}}=W\·B_{\mathrm{TRJCmd}}+(I-W)(B_{\mathrm{VPUCmd}}+(B_{\mathrm{trim}}+B_{\mathrm{VPC}}))$

$,B=\left[\begin{array}{c}\mathrm{\θ}\\ \mathrm{\φ}\end{array}\right],W=\left[\begin{array}{cc}{w}_1& 0\\ 0& w_2\end{array}\right]$ 式15

在此，W、I-W为权重函数，和为1。与权重函数相乘的B为由高角和方位角形成的行列，第一个行（B_TRJcmd）为能够利用导航信息追踪基准轨迹而生成的姿势指令，第二个行B为利用影像信息生成的姿势指令、考虑飞行体特性的指令及对影像处理摄像机安装的补偿指令的合。

通过这些组合，能够反应飞行体固有特性，并去除由于安装影像处理摄像机或由特性能够发生的误差，从而实现更精确地控制。

同时，如图9所示，可以预测风速和方向，从而生成横向姿势指令，以使能够抵消在终端区间突然发生的侧风的影响。

如上所述，本发明虽然根据限定的实施例和附图进行了说明，但本发明并非限定于此，通过本发明所属技术领域中的技术人员，在本发明的技术思想和所述的权利要求的均等范围内，可以进行多种变形和修订是显而易见的。

Claims (6)

1.一种利用基准轨迹的基于无人机影像的自动回收方法，其特征在于，包括：

基准轨迹生成步骤，其利用通过无线电通信提供给无人机的回收地点，在飞机上生成连接回收地点和排列地点的基准轨迹；

影像处理步骤，其通过搭载在无人机的前方影像摄像机获得包括标志物（撞网）的影像，并利用影像处理装置掌握所获得的影像中的标志物的位置和大小，并计算无人机和标志物之间的距离；

姿势指令生成步骤，其利用从所述影像处理步骤获得的影像中心到标志物的位置，生成将中心对准标志物的姿势指令；及

虚拟轨迹生成步骤，其将所述基准轨迹生成步骤生成的基准轨迹和所述姿势指令生成步骤生成的姿势指令进行组合，生成虚拟轨迹，并且越是从排列地点临近回收地点，越是增加姿势指令的权重来生成虚拟轨迹。

2.根据权利要求1所述的利用基准轨迹的基于无人机影像的自动回收方法，其特征在于，所述基准轨迹设置成从所述排列地点到回收地点经过一个以上的航路点，并在通过各航路点前，生成朝向下一航路点的虚拟基准轨迹，并利用搭载的导航装置的信息生成引导控制指令，以使能够按照所生成的虚拟基准轨迹飞行。

3.根据权利要求1所述的利用基准轨迹的基于无人机影像的自动回收方法，其特征在于，所述姿势指令计算出所获得的影像中心和标志物位置之间的方向角（ψ_VPUCmd）和高角（θ_VPUCmd），并按照计算出的方向角（ψ_VPUCmd）和高角（θ_VPUCmd）的大小，下达指令转换无人机的方向。

4.根据权利要求1所述的利用基准轨迹的基于无人机影像的自动回收方法，其特征在于，所述虚拟轨迹生成步骤中的权重赋予随着从排列地点逐步临近回收地点，姿势指令的比重从0%到100%线性增大。

5.根据权利要求1所述的利用基准轨迹的基于无人机影像的自动回收方法，其特征在于，所述虚拟轨迹生成步骤中用于赋予权重的距离计算是利用所述影像处理步骤中计算出的无人机和标志物之间的距离。

6.根据权利要求1所述的利用基准轨迹的基于无人机影像的自动回收方法，其特征在于，所述虚拟轨迹的生成，在初期排列步骤中利用导航信息追踪基准轨迹，并在作为终端区间的回收地点，利用精确度高的影像信息生成姿势指令来提高精确度。

Images