CN109911231A - 基于gps和图像识别混合导航的无人机自主着舰方法与系统 - Google Patents

Abstract

本发明公开了一种基于GPS和图像识别混合导航的无人机自主着舰方法与系统，该方法包括：1)根据接收的降落指令控制无人船停止运动，并将无人船上的降落坪的GPS导航坐标实时传给无人机；2)控制无人机飞至辅助降落平台的上空，并等待降落；3)根据无人机对着陆标识的拍摄图像进行处理，识别着陆标识图片的中心坐标；4)根据拍摄图片的中心坐标、无人机的高度数据与其坐标位置得出摄像中心相对于着陆标识的位置、姿态角和坐标差值；5)根据无人机摄像中心相对于着陆标识的位置、姿态角和机载云台相机相对于无人机的姿态角，控制无人机降落。本发明提供一种精度高、可靠性好、成本低的旋翼无人机自主着陆方法，特别适用于无人机在无人船上降落。

Description

基于GPS和图像识别混合导航的无人机自主着舰方法与系统

技术领域

本发明涉及无人机技术，尤其涉及一种基于GPS和图像识别混合导航的无人机自主着舰系统。

背景技术

以小型旋翼无人机和无人船在过去的二十年得到的广泛关注和发展，从无人机航拍、测绘、植保到无人船水质监测、辅助救援都出现了他们的身影。无人化的平台可以提高效率，降低成本，减少不必要的附带损伤。但单一的无人机、无人船野外环境感知能力不足以提供其在野外进行自主作业的需求，限制了自身在野外环境下的发展与应用。其中小型无人机负载和续航能力差，很难持续在空中执行作业任务，无人机需要不断的进行能源补充和电池更换，这样大量的时间和能量浪费在了往返作业点和能源补给之间的飞行上。如果能实现无人机自主精确降落在无人船上，依靠无人船的续航能力就能节省很多时间。为解决上述问题，本发明采用机载云台相机去识别漏斗形状结构的舰载辅助降落平台的着陆标识，提供一种精度高、可靠性好、成本低的基于GPS和图像识别混合导航算法的无人机自主着舰系统。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于GPS和图像识别混合导航的无人机自主着舰方法与系统。

本发明解决其技术问题所采用的技术方案是：

一种基于GPS和图像识别混合导航的无人机自主着舰方法，包括以下步骤：

1)当无人机需要着舰时，根据接收的降落指令控制无人船停止运动，并将无人船上的降落坪的GPS导航坐标实时传给无人机；

所述降落坪为舰载铁质降落坪，固定在无人船辅助降落平台的上面；所述降落坪上设有着陆标识；

所述无人机下方安装有机载云台相机和机载磁性起落架；

2)飞行控制器控制无人机根据实时接收的GPS导航坐标飞至辅助降落平台的上空并稳定在设定的阈值高度，无人机的机载云台相机拍摄着陆标识，并等待降落；

3)根据无人机对着陆标识的拍摄图像进行处理，识别着陆标识图片的中心坐标，具体识别步骤如下：

步骤31)采用棋盘格对机载云台相机进行标定，获得相机坐标系和世界坐标系的转换关系；

步骤32)将标定物照片输入相机标定程序后，获得相机的内部参数和外部参数，然后使用最小二乘法估算畸变系数；

步骤33)将畸变系数和原图像输入相机标定程序，得到校正后图像；

步骤34)对校正后的图像进行降噪处理；

步骤35)对图像进行二值化操作，通过调用threshold函数，设定像素RGB通道阈值，可以将彩色图像转化为二值图像；

步骤36)通过轮廓匹配算法将机载云台相机拍摄图片与模板图片进行匹配，结合相机内参畸变向量得出拍摄图片的中心坐标(世界坐标系)；

4)根据拍摄图片的中心坐标、无人机的高度数据与其坐标位置得出摄像中心相对于着陆标识的位置、姿态角和坐标差值；

5)根据无人机摄像中心相对于着陆标识的位置、姿态角和机载云台相机相对于无人机的姿态角，向无人机发送相应的飞行指令，控制四旋翼无人机缩小相对着陆标识中心位置的偏差，并逐渐下降直至降落，具体如下：

当无人机起落架下端距离舰载铁质降落坪平面超过0.3米时，无人机沿水平方向对齐着陆标识，向着陆标识中心靠近；当无人机与着陆标识的中心在水平方向上的偏差小于0.2米时，无人机开始沿竖直方向缓慢下降；

当无人机起落架下端距离舰载铁质降落坪小于0.3米时，无人机沿竖直方向快速下降；

当无人机接近舰载铁质降落坪时，无人机给机载磁性起落架上的磁性器件通电使磁性起落架与舰载铁质降落坪互相吸引，使四旋翼无人机稳定落在舰载铁质降落坪上，完成降落。

按上述方案，所述步骤1)中无人船辅助降落平台是漏斗形状的舰载辅助降落平台。

按上述方案，所述步骤1)中降落坪上的着陆标识为表面材质粗糙的H形标识图案标识。

按上述方案，所述步骤2)中的阈值高度为2米。

按上述方案，所述步骤5)中，降落过程中不断进行图像识别，重复步骤3)和4)，更新摄像中心相对于着陆标识的位置、姿态角和坐标差值，使无人机在水平方向对齐着陆标识。

一种基于GPS和图像识别混合导航的无人机自主着舰系统，包括：

降落指令接收模块，用于根据接收的降落指令控制无人船停止运动，并将无人船上的降落坪的GPS导航坐标传给无人机；

所述降落坪为舰载铁质降落坪，固定在无人船辅助降落平台的上面；

所述无人机下方安装有机载云台相机和机载磁性起落架；

无人机控制模块，用于根据实时接收的控制指令进行无人机飞行控制和图像拍摄控制；所述控制指令包括根据GPS导航坐标飞至辅助降落平台的上空、拍摄着陆标识的图像以及

图像识别处理模块，用于根据无人机对着陆标识的拍摄图像进行处理，识别着陆标识图片的中心坐标；

舰载处理模块，根据拍摄图片的中心坐标、无人机的高度数据与其坐标位置得出摄像中心相对于着陆标识的位置、姿态角和坐标差值，并结合机载云台相机相对于无人机的姿态角，向无人机控制模块发送相应的飞行指令，控制四旋翼无人机缩小相对着陆标识中心位置的偏差，并逐渐下降直至降落。

按上述方案，所述图像识别处理模块中具体识别步骤如下：

1)采用棋盘格对机载云台相机进行标定，获得相机坐标系和世界坐标系的转换关系；

2)将标定物照片输入相机标定程序后，获得相机的内部参数和外部参数，然后使用最小二乘法估算畸变系数；

3)将畸变系数和原图像输入相机标定程序，得到校正后图像；

4)对校正后的图像进行降噪处理；

5)对图像进行二值化操作，通过调用threshold函数，设定像素RGB通道阈值，可以将彩色图像转化为二值图像；

6)通过轮廓匹配算法将机载云台相机拍摄图片与模板图片进行匹配，结合相机内参畸变向量得出拍摄图片的中心坐标(世界坐标系)。

按上述方案，所述舰载处理模块中，降落控制过程如下：

当无人机起落架下端距离舰载铁质降落坪平面超过0.3米时，无人机沿水平方向对齐着陆标识，向着陆标识中心靠近；当无人机与着陆标识的中心在水平方向上的偏差小于0.2米时，无人机开始沿竖直方向缓慢下降；

当无人机起落架下端距离舰载铁质降落坪小于0.3米时，无人机沿竖直方向快速下降；

当无人机接近舰载铁质降落坪时，无人机给机载磁性起落架上的磁性器件通电使磁性起落架与舰载铁质降落坪互相吸引，使四旋翼无人机稳定落在舰载铁质降落坪上，完成降落。

本发明产生的有益效果是：

本发明依靠平台表面上有着陆标识的辅助降落平台，利用旋翼无人机搭载的云台相机，提供一种精度高、可靠性好、成本低的视觉辅助旋翼无人机自主着陆系统，特别适用于无人机在无人船上降落。舰载辅助降落平台是一种漏斗形状的结构，由于漏斗的侧面是平滑的，因此可用于保证无人机不会因双体无人船在水面上晃动而跌落下水。当船晃动较大时，无人机降落可能会存在偏差，而漏斗形的辅助降落平台可提高无人机降落的容错率。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的结构示意图；

图2是本发明实施例的辅助降落平台的俯视示意图；

图3是本发明实施例的图像识别处理的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，一种基于GPS和图像识别混合导航的无人机自主着舰方法，具体如下：

本发明设计一种特别设计的舰载辅助降落平台，利用四旋翼无人机1现有的机载云台相机，提供一种精度高、可靠性好、成本低的视觉辅助旋翼无人机自主着陆方法，特别适用于在无人船上着陆。包括四旋翼无人机、机载云台相机、机载磁性起落架、舰载辅助降落平台、无人船、辅助降落平台的俯视示意图如图2所示，包括舰载铁质降落坪以及着陆标识；

四旋翼无人机是一套完整的无人机系统，包括无人机、遥控器(或地面站)，无人机由机架、螺旋桨电机、电调、传感器、飞行控制器；其中传感器包括加速度计、陀螺仪、磁罗盘、GPS、气压计；

机载云台相机安装在四旋翼无人机的下方，包括相机和云台；

云台被电机驱动旋转到任意给定角度，并记录相机当前相对于四旋翼无人机的姿态角或记录相机在地面坐标系下的姿态角；云台既可以保证相机画面稳定不受无人机运动的影响，又使相机可以从更大的角度拍摄着陆标识；云台按照舰载计算机的命令转动，并把相机画面直接传输到舰载计算机；

机载磁性起落架安装在四旋翼无人机1的下端；所述机载磁性起落架下方固定有磁性器件，磁性器件为电磁铁；

舰载铁质降落坪固定在无人船辅助降落平台的上面；其中当四旋翼无人机给电磁铁通电时，机载磁性起落架对舰载铁质降落坪有吸引作用；

着陆标识附着在舰载铁质降落上；其中着陆标识的印有H形图案的粗糙布料，粗糙布料既能有效减少反光，又能在四旋翼无人机着陆后提供较大的摩擦力。

一种基于混合导航的无人机自主着舰系统，其特征在于，包括以下步骤：

步骤1：当无人机需要着舰时，地面控制中心发送降落指令给舰载计算机，其接收指令后控制双体无人船停止运动并将其GPS导航坐标传给四旋翼无人机。

由于水流与波浪对双体无人船的影响，双体无人船的导航坐标会发生变化，因此需要不断将坐标发送给无人机来调整飞行；

步骤2：根据GPS导航中双体无人船目标位置的经纬度，四旋翼无人机飞至辅助降落平台4的上空，并开始降落；

步骤3：当四旋翼无人机达到设定的阈值高度，大约离平台高2米时，开始图像识别处理工作，如图3所示，为识别着陆标识的流程图，其中具体识别步骤如下：

步骤31：采用棋盘格标定机载云台相机，抽象出世界坐标系和相机坐标系的关系；

步骤32：将40张从机载云台相机读取到的不同的标定物照片输入相机标定程序后，可以获得五个内部参数和六个外部参数，然后使用最小二乘法估算畸变系数；

步骤33：将畸变系数和原图像输入程序并调用OpenCV库中initUndistortRectifyMap函数和remap函数，可以得到校正后图像；

在图像识别算法上，采用了基于openCV的改进型MSD模板匹配算法，提高了图像识别的效率与精准度。

步骤34：将校正后的图像存在的较多噪点通过使用高斯滤波函数GaussianBlur进行降噪；

步骤35：由于降落过程中可能会存在阴影干扰，所以要对图像进行二值化操作，通过调用threshold函数，设定像素RGB通道阈值，可以将彩色图像转化为二值图像；

步骤36：通过轮廓匹配算法将机载云台相机拍摄图片与模板图片进行匹配，结合相机内参畸变向量可得出图片的中心坐标；

步骤4：图像识别完成后，舰载计算机通过回传的高度数据与其坐标位置得出摄像中心相对于着陆标识的位置、姿态角和坐标差值；

步骤5：根据四旋翼无人机1摄像中心相对于着陆标识的位置、姿态角和机载云台相机相对于四旋翼无人机1的姿态角，舰载计算机向四旋翼无人机发送相应的飞行指令，从而控制四旋翼无人机缩小相对着陆标识中心位置的偏差，并逐渐下降。在此降落过程中不断进行图像识别，重复步骤31)-步骤33，使四旋翼无人机1在水平方向继续对齐着陆标识。

其中下降过程分为高处和低处两个阶段，当四旋翼无人机起落架下端距离舰载铁质降落坪9超过0.3米时，四旋翼无人机沿水平方向对齐着陆标识，向着陆标识中心靠近；当旋翼无人机与着陆标识的中心在水平方向上的偏差小于0.2米时，四旋翼无人机开始沿竖直方向缓慢下降；当四旋翼无人机1起落架下端距离舰载铁质降落坪小于0.3米时，四旋翼无人机竖直方向快速下降。

步骤6：当四旋翼无人机1接近舰载铁质降落坪时，四旋翼无人机给机载磁性起落架上的磁性器件通电并与舰载铁质降落坪互相吸引，使四旋翼无人机稳定落在舰载铁质降落坪上，完成降落。

本发明方法实施例中，地面控制中心是整个系统的总控制端，对双体无人船的航行和四旋翼无人机的飞行状况进行监控，操控者通过地面控制中心向舰载计算机传输命令来控制双体无人船的航行；

舰载计算机是地面控制中心和四旋翼无人机之间的信息中转站，向无人机飞行控制器转发传输地面控制中心命令来控制四旋翼无人机的飞行，它通过2.4G数据传输模块与四旋翼无人机的飞行控制器和地面控制中心计算机通信，通过5.8G图片传输模块读取机载云台相机拍摄的画面；

舰载计算机一方面用于显示双体无人船航行过程中的信息，另一方面传递地面计算机对四旋翼无人机的控制指令并将无人机的飞行状态信息回传给地面计算机，同时系统的图像处理算法通过舰载计算机完成。

根据上述方法，本发明还提出一种基于GPS和图像识别混合导航的无人机自主着舰系统，包括：

降落指令接收模块，用于根据接收的降落指令控制无人船停止运动，并将无人船上的降落坪的GPS导航坐标传给无人机；

所述降落坪为舰载铁质降落坪，固定在无人船辅助降落平台的上面；

所述无人机下方安装有机载云台相机和机载磁性起落架；

无人机控制模块，用于根据实时接收的控制指令进行无人机飞行控制和图像拍摄控制；所述控制指令包括根据GPS导航坐标飞至辅助降落平台的上空、拍摄着陆标识的图像以及

图像识别处理模块，用于根据无人机对着陆标识的拍摄图像进行处理，识别着陆标识图片的中心坐标；

具体识别步骤如下：

1)采用棋盘格对机载云台相机进行标定，获得相机坐标系和世界坐标系的转换关系；

2)将标定物照片输入相机标定程序后，获得相机的内部参数和外部参数，然后使用最小二乘法估算畸变系数；

3)将畸变系数和原图像输入相机标定程序，得到校正后图像；

4)对校正后的图像进行降噪处理；

5)对图像进行二值化操作，通过调用threshold函数，设定像素RGB通道阈值，可以将彩色图像转化为二值图像；

6)通过轮廓匹配算法将机载云台相机拍摄图片与模板图片进行匹配，结合相机内参畸变向量得出拍摄图片的中心坐标(世界坐标系)；

舰载处理模块，根据拍摄图片的中心坐标、无人机的高度数据与其坐标位置得出摄像中心相对于着陆标识的位置、姿态角和坐标差值，并结合机载云台相机相对于无人机的姿态角，向无人机控制模块发送相应的飞行指令，控制四旋翼无人机缩小相对着陆标识中心位置的偏差，并逐渐下降直至降落。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于GPS和图像识别混合导航的无人机自主着舰方法，其特征在于，包括以下步骤：

1)当无人机需要着舰时，根据接收的降落指令控制无人船停止运动，并将无人船上的降落坪的GPS导航坐标实时传给无人机；

所述降落坪为舰载铁质降落坪，固定在无人船辅助降落平台的上面；所述降落坪上设有着陆标识；

所述无人机下方安装有机载云台相机和机载磁性起落架；

2)控制无人机根据实时接收的GPS导航坐标飞至辅助降落平台的上空并稳定在设定的阈值高度，无人机的机载云台相机拍摄着陆标识，并等待降落；

3)根据无人机对着陆标识的拍摄图像进行处理，识别着陆标识图片的中心坐标；

4)根据拍摄图片的中心坐标、无人机的高度数据与其坐标位置得出摄像中心相对于着陆标识的位置、姿态角和坐标差值；

5)根据无人机摄像中心相对于着陆标识的位置、姿态角和机载云台相机相对于无人机的姿态角，向无人机发送相应的飞行指令，控制无人机缩小相对着陆标识中心位置的偏差，并逐渐下降直至降落。

2.根据权利要求1所述的一种基于GPS和图像识别混合导航的无人机自主着舰方法，其特征在于，所述步骤1)中无人船辅助降落平台是漏斗形状的舰载辅助降落平台。

3.根据权利要求1所述的一种基于GPS和图像识别混合导航的无人机自主着舰方法，其特征在于，所述步骤1)中降落坪上的着陆标识为表面材质粗糙的H形标识图案标识。

4.根据权利要求1所述的一种基于GPS和图像识别混合导航的无人机自主着舰方法，其特征在于，所述步骤2)中的阈值高度为2米。

5.根据权利要求1所述的一种基于GPS和图像识别混合导航的无人机自主着舰方法，其特征在于，所述步骤3)中，具体识别步骤如下：

步骤31)采用棋盘格对机载云台相机进行标定，获得相机坐标系和世界坐标系的转换关系；

步骤32)将标定物照片输入相机标定程序后，获得相机的内部参数和外部参数，然后使用最小二乘法估算畸变系数；

步骤33)将畸变系数和原图像输入相机标定程序，得到校正后图像；

步骤34)对校正后的图像进行降噪处理；

步骤35)对图像进行二值化操作，通过调用threshold函数，设定像素RGB通道阈值，可以将彩色图像转化为二值图像；

步骤36)通过轮廓匹配算法将机载云台相机拍摄图片与模板图片进行匹配，结合相机内参畸变向量得出拍摄图片的中心坐标。

6.根据权利要求1或5所述的一种基于GPS和图像识别混合导航的无人机自主着舰方法，其特征在于，所述步骤5)中，降落过程中不断进行图像识别，重复步骤3)和4)，更新摄像中心相对于着陆标识的位置、姿态角和坐标差值，使无人机在水平方向对齐着陆标识。

7.根据权利要求1或5所述的一种基于GPS和图像识别混合导航的无人机自主着舰方法，其特征在于，所述步骤5)中，降落控制的具体过程如下：

当无人机起落架下端距离舰载铁质降落坪平面超过0.3米时，无人机沿水平方向对齐着陆标识，向着陆标识中心靠近；当无人机与着陆标识的中心在水平方向上的偏差小于0.2米时，无人机开始沿竖直方向缓慢下降；

当无人机起落架下端距离舰载铁质降落坪小于0.3米时，无人机沿竖直方向快速下降；

当无人机接近舰载铁质降落坪时，无人机给机载磁性起落架上的磁性器件通电使磁性起落架与舰载铁质降落坪互相吸引，使无人机稳定落在舰载铁质降落坪上，完成降落。

8.一种基于GPS和图像识别混合导航的无人机自主着舰系统，其特征在于，包括：

降落指令接收模块，用于根据接收的降落指令控制无人船停止运动，并将无人船上的降落坪的GPS导航坐标传给无人机；

所述降落坪为舰载铁质降落坪，固定在无人船辅助降落平台的上面；

所述无人机下方安装有机载云台相机和机载磁性起落架；

无人机控制模块，用于根据实时接收的控制指令进行无人机飞行控制和图像拍摄控制；所述控制指令包括根据GPS导航坐标飞至辅助降落平台的上空、拍摄着陆标识的图像以及

图像识别处理模块，用于根据无人机对着陆标识的拍摄图像进行处理，识别着陆标识图片的中心坐标；

舰载处理模块，根据拍摄图片的中心坐标、无人机的高度数据与其坐标位置得出摄像中心相对于着陆标识的位置、姿态角和坐标差值，并结合机载云台相机相对于无人机的姿态角，向无人机控制模块发送相应的飞行指令，控制无人机缩小相对着陆标识中心位置的偏差，并逐渐下降直至降落。

9.根据权利要求8所述的一种基于GPS和图像识别混合导航的无人机自主着舰系统，其特征在于，所述图像识别处理模块中具体识别步骤如下：

1)采用棋盘格对机载云台相机进行标定，获得相机坐标系和世界坐标系的转换关系；

2)将标定物照片输入相机标定程序后，获得相机的内部参数和外部参数，然后使用最小二乘法估算畸变系数；

3)将畸变系数和原图像输入相机标定程序，得到校正后图像；

4)对校正后的图像进行降噪处理；

5)对图像进行二值化操作，通过调用threshold函数，设定像素RGB通道阈值，可以将彩色图像转化为二值图像；

6)通过轮廓匹配算法将机载云台相机拍摄图片与模板图片进行匹配，结合相机内参畸变向量得出拍摄图片的中心坐标。

10.根据权利要求8所述的一种基于GPS和图像识别混合导航的无人机自主着舰系统，其特征在于，所述舰载处理模块中，降落控制过程如下：

当无人机起落架下端距离舰载铁质降落坪平面超过0.3米时，无人机沿水平方向对齐着陆标识，向着陆标识中心靠近；当无人机与着陆标识的中心在水平方向上的偏差小于0.2米时，无人机开始沿竖直方向缓慢下降；

当无人机起落架下端距离舰载铁质降落坪小于0.3米时，无人机沿竖直方向快速下降；

当无人机接近舰载铁质降落坪时，无人机给机载磁性起落架上的磁性器件通电使磁性起落架与舰载铁质降落坪互相吸引，使无人机稳定落在舰载铁质降落坪上，完成降落。