CN110673622A

CN110673622A - 一种基于视觉图像的无人机自动着舰引导方法与系统

Info

Publication number: CN110673622A
Application number: CN201911025061.2A
Authority: CN
Inventors: 李瑛达; 王超
Original assignee: Dalian Neusoft University of Information
Current assignee: Dalian Neusoft University of Information
Priority date: 2019-10-25
Filing date: 2019-10-25
Publication date: 2020-01-10
Anticipated expiration: 2039-10-25
Also published as: CN110673622B

Abstract

本发明公开了一种基于视觉图像的无人机自动着舰引导方法与系统，该方法包括：设定着舰点的位置为中心，根据中心构造包围着舰点的矩形标志区，在标志区的四个角放置识别标志；根据判断无人机是否处于着舰过程，若是，则采用长焦摄像机拍摄着舰图像，并根据着舰图像计算所述无人机的姿态；根据无人机的姿态判断无人机是否处于悬停状态，若是，则启用近焦摄像机拍摄悬停图像；识别悬停图像中的标志区的中心点，引导无人机的飞控系统对准中心点降落。本发明的基于视觉图像的无人机自动着舰引导方法和系统，克服无人机在降落过程由于GPS、地面和空中导航设备等外部因素的干扰无法精准降落的缺陷，实现无人机自动着舰。

Description

一种基于视觉图像的无人机自动着舰引导方法与系统

技术领域

本发明涉及一种无人机自动着舰引导方法与系统，更具体地，涉及一种基于视觉图像的无人机自动着舰引导方法与系统。

背景技术

未来海上战争是信息化战争，高效、灵敏、强大的态势感知能力是开展新时期海上军事斗争的首要能力需求。有人驾驶飞机受限于人的生理限制，难以全天候24小时提供不间断的空中支援。而无人机可以不受人的生理限制，具有使用成本低、任务风险小的优点，有鉴于此，我军需要在中小型舰船上配备舰载无人机。由于中小型舰船可用起降空间狭小，所以传统的舰载无人机多采用无人直升机。但无人直升机受限于构型和飞行原理，存在飞行速度低、续航时间短、任务载荷小、振动幅度大等缺点，难以满足新时期海上军事斗争的能力要求。为解决上述问题，需要研制具有垂直起降功能的新构型固定翼舰载无人机来执行空中侦察、监视、通信中继、目标指示、电子干扰、充当诱饵以及配备机载导弹等武器，完成封锁、对海或反舰攻击等军事任务。固定翼舰载无人机执行完成任务后需要返回舰船，由于GPS导航信号等导航技术容易受到干扰，使得无人机不能精确降落在舰船的着舰点上。因此，需要使用不受GPS干扰，且不依赖地面和空中导航设备的导航技术引导无人机实现精准降落。

发明内容

本发明的目的在于克服现有技术存在的上述缺陷，提供一种基于视觉图像的无人机自动着舰引导方法与系统，实现无人机在降落过程中能够不依赖地面和空中导航设备并且不受GPS信号的干扰，精准降落在着舰点的目的。

为实现上述目的，本发明提供一种基于视觉图像的无人机自动着舰引导方法，包括以下步骤：

设定着舰点的位置为中心，根据所述中心构造包围所述着舰点的矩形标志区，在所述标志区的四个角放置识别标志；

根据判断无人机是否处于着舰过程，若是，则采用长焦摄像机拍摄着舰图像，并根据所述着舰图像计算所述无人机的姿态，并对所述无人机的姿态进行调整；

根据所述无人机的姿态判断所述无人机是否处于悬停状态，若是，则启用近焦摄像机拍摄悬停图像；

识别所述悬停图像中的标志区的中心点，引导所述无人机的飞控系统对准所述中心点降落。

进一步地，所述则启用近焦摄像机拍摄悬停图像之后，还包括：

判断所述悬停的图像中是否包含全部的标志区，若否，则启用广角摄像机拍摄悬停图像。

进一步地，所述着舰点和识别标志为椭圆，采用椭圆识别技术识别着舰点和识别标志，并得到所述着舰点和识别标志的参数。

本发明还一种基于视觉图像的无人机自动着舰引导系统，包括：

标识单元，用于设定着舰点的位置为中心，根据所述中心构造包围所述着舰点的矩形标志区，在所述标志区的四个角放置识别标志；

着舰调整单元，用于判断无人机是否开始着舰，并在开始着舰后启用长焦摄像机拍摄着舰图像，根据所述着舰图像计算所述无人机的姿态，引导无人机的飞控系统调整无人机的姿态；

悬停引导单元，用于判断无人机是否进入悬停状态，并在进入悬停状态后，启用近焦摄像机拍摄悬停图像，识别悬停图像中的标志区的中心点，引导无人机的飞控系统对准所述中心点降落。

进一步地，所述悬停引导单元，还用于：

判断所述悬停图像中是否包含全部的标志区，若否，则启用广角摄像机拍摄悬停图像。

进一步地，所述标识单元，具体用于；

设置所述着舰点和识别标志为椭圆，采用椭圆识别技术识别着舰点和识别标志，并得到所述着舰点和识别标志的参数。从上述技术方案可以看出，本发明通过利用光学传感器和图像识别技术测量固定翼无人机相对舰船的几何信息，引导无人机着舰，因此，本发明具有不依赖GPS导航、不依赖地面和空中导航设备，能够实现精准降落的显著特点。

附图说明

图1是本发明基于视觉图像的无人机自动着舰引导方法流程图；

图2是本发明带圆形识别标志的着陆平台示意图；

图3是本发明500米处长焦镜头拍摄画面示意图；

图4是本发明椭圆标志识别后的着舰点补三角形示意图；

图5是本发明高低角计算示意图；

图6是本发明不同距离下长焦画面差异对比图；

图7是本发明基于视觉图像的固定翼无人机着舰引导系统示意图。

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步的详细说明。

需要说明的是，在下述的具体实施方式中，在详述本发明的实施方式时，为了清楚地表示本发明的结构以便于说明，特对附图中的结构不依照一般比例绘图，并进行了局部放大、变形及简化处理，因此，应避免以此作为对本发明的限定来加以理解。

如图1所示，本实施例的基于视觉图像的无人机自动着舰引导方法，包括以下步骤：

设定着舰点的位置为中心，构造包围着舰点的矩形标志区，如图2所示，在标志区的四个角放置识别标志,矩形标志区的长为L米，宽为M米，这里举例矩形的长和宽都为10米，识别标志为椭圆；

无人机飞控系统提供无人机是否开始着舰，当无人机开始着舰后，即无人机距着舰点距离为500米～180米的情况下，启用长焦摄像机，拍摄包含标志区的着舰图像，相机采集到的着舰图像如图3所示，着舰图像的分辨率为5000*5000，无人机距离着舰点500米左右时，着舰点左右占据画面1/3左右，此时大概占据800～1600像素，即每个像素代表约1厘米的精度，对着舰图像进行预处理，包括图像灰度化、边缘识别、轮廓信息二值化操作，使图像检测达到0.1像素的亚像素精度，可以获得更高的分辨精度，对着舰图像中的标志区采用椭圆识别技术进行识别，并且判断识别后的着舰点的形状是否为圆形；

若着舰图像中的着舰点为椭圆，则沿着舰点搜索，识别标志区内的4个识别标志，得到椭圆的参数，建立坐标系，标记4个识别标志的坐标，得到图4所示的补三角形，通过计算可图4中三角形的两个边长A和B，根据AB边长的不同，计算无人机飞行方向与船只前进方向的夹角，飞控系统根据夹角修正飞行方向；

当无人机和着舰点距离在100米～500米之间的时候，可以认为长焦相机采集到的光是平行光，这样可以通过长焦相机采集到的着舰点的底线长度和梯形的高的比值来计算高低角，如图5所示，飞控系统根据高低角调整无人机与着舰点之间的垂直关系；

随着无人机逐渐靠近着舰点，长焦镜头中出现的着舰点图像也会占据越来越大的画面，如图6所示，所以可以通过预先标定的方法，获取先验知识的方式来获取斜距信息，飞控系统调整无人机与着舰点之间的距离，引导飞控系统降落；

若着舰图像中的着舰点为圆，则表示无人机进入悬停状态；

无人机进入悬停状态后，即无人机距离着舰点180米左右的情况下，启用近焦摄像机，拍摄包含标志区的悬停图像，对悬停图像进行预处理，包括图像灰度化、边缘识别、轮廓信息二值化操作，采用椭圆识别技术识别标志区内的着舰点和圆形识别标志，判断悬停图像中是否包含完整的标志区；

若悬停图像中包含完整的标志区，采用椭圆识别技术识别标志区内的着舰点，根据识别后的椭圆参数，得到着舰点的中心点，引导飞控系统对准中心点降落；

若悬停图像中不包含完整的标志区，即无人机距离着舰点60米左右的情况下，开启广角摄像机，拍摄标志区的悬停图像，对悬停图像进行预处理，包括图像灰度化、边缘识别、轮廓信息二值化操作，采集的悬停图像出现畸变，采用畸变校正技术消除图像中畸变造成的目标距离、方位的计算错误，采用椭圆识别技术识别标志区内的着舰点，根据识别后的椭圆参数，得到着舰点的中心点，引导飞控系统对准中心点降落。

对图像进行预处理中的图像灰度化采用公式(1)对RGB三分量进行加权平均能得到较合理的灰度图像。

Gray＝0.299*R+0.578*G+0.114*B (1)

对图像进行预处理中的边缘识别采用canny边缘识别，使用高斯滤波器平滑图像，滤除噪声。计算图像中每个像素点的梯度强度和方向。非极大值抑制将当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较在跨越梯度方向的两个相邻像素之间使用线性插值来得到要比较的像素梯度。用弱梯度值过滤边缘像素，并保留具有高梯度值的边缘像素，可以通过选择高低阈值来实现。最后抑制孤立低阈值点，通过查看弱边缘像素及其8个邻域像素，只要其中一个为强边缘像素，则该弱边缘点就可以保留为真实的边缘。

对图像进行预处理中的轮廓信息二值化是利用图像中目标与背景的差异，把图像分别设置为两个不同的级别。

对图像中的着舰点和识别标志进行识别采用椭圆识别技术，首先常用的椭圆公式为：

由椭圆的公式可得，确定一个椭圆需要5个参数，a、b为椭圆的长轴和短轴，P、Q为椭圆中心坐标，θ为椭圆的旋转角度。为降低计算量，需要利用椭圆的几何特征降低参数的维度，现在设定：平面上有一个椭圆，点c为椭圆中心，任取平面上一点p(不同于点c)，点p距椭圆上点的最大距离一定大于点c距椭圆上点的最大距离，也可表达为：椭圆中心(P,Q)是平面上所有点中，距离椭圆轮廓上点最大距离最小的点。利用这一几何性质，降低Hough参数空间的维度。即图像中每一点与椭圆(椭圆边界)最远的距离L，其中，L最小的点就是椭圆的中心，L就是椭圆的短轴a。

算法的具体步骤为：

步骤1:首先对图像进行边缘检测，得到二值化的边缘轮廓图，将边缘图上的点坐标存入数组A。

步骤2:对图像上的每一点，计算与上一步所得数组A中点的距离，得到每一点距数组A中点的最大距离，所有点中最大距离最小的点，即是椭圆中心(p,q)，该最大距离即是椭圆长轴长度a。

步骤3:将数组A中每一点的数值和刚才得到的3个椭圆参数p、q、a代入椭圆方程。

步骤4:在二维参数空间上对参数b、θ进行统计，得到峰值超过一定阈值的一组参数即为椭圆。

如图7所示，本实施例的基于视觉图像的无人机自动着舰引导系统，包括标识单元，用于设定着舰点的位置为中心，根据所述中心构造包围所述着舰点的矩形标志区，在所述标志区的四个角放置识别标志；

如图2所示，着舰标志区为以着舰点的位置为中心，构造包围着舰点的矩形标志区，在标志区的四个角放置识别标志,识别标志为椭圆；

着舰调整用于无人机飞控系统提供开始着舰的信息后，启用长焦摄像机拍摄着舰图像，控制云台获得着舰图像，图像处理单元对着舰图像进行处理，图像识别单元识别着舰标志区的着舰点和识别标志，计算中心计算无人机的姿态，飞控系统调整无人机的姿态；

悬停引导用于无人机进入悬停状态后，启用近焦摄像机拍摄悬停图像，控制云台获得悬停图像，图像处理单元对悬停图像进行处理，图像识别单元识别悬停图像中的标志区的中心点，引导无人机的飞控系统对准所述中心点降落。图像识别单元所识别出的标志区不完整时，启用广角摄像机拍摄悬停图像。图像识别单元采用椭圆识别技术识别着舰点和识别标志，并得到着舰点和识别标志的参数。

无人机配置高速逻辑运算电路。此电路采用了FPGA作为逻辑计算单元，运算能力强，可实时处理大量数据，可同时进行雷达信号解码，飞行速度、位置计算，无人机姿态控制等逻辑控制，高速逻辑运算电路的运算速度可以达到每秒处理200张图片，可以实时计算雷达信号，并且延时小，减小对着舰点雷达的测距精度的影响。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims

1.一种基于视觉图像的无人机自动着舰引导方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述则启用近焦摄像机拍摄悬停图像之后，还包括：

3.根据权利要求1所述的一种基于视觉图像的无人机自动着舰引导方法，其特征在于，所述着舰点和识别标志为椭圆，采用椭圆识别技术识别着舰点和识别标志，并得到所述着舰点和识别标志的参数。

4.一种基于视觉图像的无人机自动着舰引导系统，其特征在于，包括：

5.根据权利要求4所述的一种基于视觉图像的无人机自动着舰引导系统，其特征在于，所述悬停引导单元，还用于：

6.根据权利要求4所述的一种基于视觉图像的无人机自动着舰引导系统，其特征在于，所述标识单元，具体用于；

设置所述着舰点和识别标志为椭圆，采用椭圆识别技术识别着舰点和识别标志，并得到所述着舰点和识别标志的参数。