CN110610134A - 一种无人艇自主对接方法 - Google Patents

Abstract

本发明属于无人艇回收领域，具体为一种无人艇自主对接方法，包括以下步骤：首先通过摄像头采集实时图像；接着，在无人艇和回收托架距离大于20m时依靠GPS引导对接；随后距离缩短到20m时通过目标检测得到目标位置并初始化目标跟踪器，同时借助GPS排除非目标无人艇的干扰；最后，跟踪指定目标，得到目标位置信息并转化为舵角，引导目标无人艇前进、回收托架旋转，二者相互对中，直至对接完成。本发明具有高灵敏度、高精度、高鲁棒性和高稳定性的优点，对接成功率高，更实现了在多个干扰艇存在时标定并排除干扰艇，对目标艇进行自主对接回收，快速准确，安全有效。

Description

一种无人艇自主对接方法

技术领域

本发明涉及无人设备应用技术领域，尤其涉及无人艇的回收，具体是一种结合检测、GPS、跟踪的多艇干扰下的无人艇自主对接方法。

背景技术

无人艇是一种无人操作的小型智能化水面移动平台，主要用于执行危险或者不适于有人船只执行的任务，能够在海面、河道自主航行的同时实现自主路径规划、自主导航避障、自主环境感知等功能，并且通过装载不同的设备来代替工作人员执行大量不同的高重复性工作，具有重大的应用前景。

无人艇的回收是指无人艇在完成水上任务之后，通过一定的方式获取无人艇方位，根据获得的信号引导无人艇缓慢驶入回收托架，随后利用回收托架对无人艇进行回收。作为无人艇工作过程中必不可少的一部分，无人艇的回收必须尽可能的无人化、智能化，但目前依旧无法做到自主回收无人艇，回收的难点在于无法实现无人艇和回收托架的水面自主对接。传统自主对接的基本思路是通过GPS获取无人艇与回收托架的经纬度和艏向角信息，进而计算出二者各自的转向角度，以此控制无人艇前进、回收托架旋转开口，保证对中并对接回收。但是，回收半径一般控制在50m以内，而通过GPS和惯导获取的转向角度误差会在20m范围内急剧上升，实时性和精度不够高，无法准确快速的实现无人艇和回收托架的对中和驶入，无法满足回收的需求。

近几年来，目标跟踪技术和基于深度学习的目标检测技术有了极大的发展，特别是目标检测技术，在有足够的训练数据的支撑的情况下，通过检测算法可以准确的对图像中的目标实现定位和分类。但是，现有的检测算法不能区分同一类别的多个目标，即同时出现极其相似的目标艇和干扰艇时，检测算法会同时进行识别，而无法将目标艇和干扰艇区分开来。另外，在无较多遮挡的情况下，借助目标跟踪可以实现对目标物准确快速的跟踪，但使用目标跟踪需要预先给定精确的目标位置信息，若此时仍需要由人为给定则背离了自主对接无人化的初衷，仍然难以满足人们的需求。

发明内容

为了解决现有技术的不足，本发明提出一种结合检测、GPS、跟踪的多艇干扰下的无人 艇自主对接方法，实现无人艇的自主回收。

本发明要解决的技术问题是通过以下技术方案实现的：

一种无人艇自主对接方法，通过以下步骤来实现无人艇的自主回收：

(1)分别在回收托架和无人艇上配备摄像头获取实时图像序列作为后续目标检测和跟踪 的数据来源、安装GPS获取各自经纬度信息；

(2)在接收到自主回收无人艇指令后，根据GPS获取的位置判断回收托架和目标无人 艇的距离，若距离大于20m则以GPS提供的信息计算无人艇和回收托架各自的转向角并转为 舵角，执行前期对接过程；

(3)距离达到20m时，使用目标检测算法Tiny-YOLO-USV将无人艇和回收托架摄像头 采集的图像视野中的目标检测出来；

(4)以目标位置信息初始化KCF目标跟踪器；

(5)执行高效的目标跟踪KCF算法跟踪目标无人艇、回收托架，获取其对应位置，继而计算出转向角度，指导航控系统设置舵角，循环跟踪，直至完成整个的对接过程；

(6)对接完成，锁紧无人艇并对回收托架进行起吊，连带着目标无人艇完成回收。

在本发明的步骤(2)中，以GPS提供的信息计算无人艇和回收托架各自的转向角并转为舵角的具体步骤包括：

①借助GPS获取无人艇和回收托架各自的艏向角，即船艏相对于大地坐标系下正北方向 的夹角，其计算公式如下：

其中，α表示艏向角，(x_next,y_next)表示本地一对GPS中其中一个GPS的经纬度信息，(x_next,y_next)表示本地一对GPS中另一个GPS的经纬度信息；

②根据目标位置的经纬度信息和本地位置的经纬度信息得到无人艇和托架连线相对于正 北方向的夹角γ；

③结合艏向角α和夹角γ计算出基于GPS信息得到的转向角ψ，计算过程如下：

ψ＝γ-α

④在大于20m时分别计算目标无人艇和回收托架各自的转向角ψ_艇和ψ_架，并将其转化为舵角，指导二者保持相互对中并不断靠近。

在本发明的步骤(3)中，具体步骤包括：

①针对海面目标无人艇、回收托架的检测设计出轻量级目标检测算法Tiny-YOLO-USV，该算法是在传统的Tiny-YOLOv3的基础上改进得来：a.使用了更大的输入尺寸512*512 代替原本的416*416输入，增大图像输入可以有效的提升检测的定位精度；b.增加特征 融合分支，即增加高分辨率下的特征融合分支，提升网络对于多尺度目标的检测能力， 尤其是远距离小目标的检测性能；c.更多、更贴近船只形状的默认框设置，传统的网络 的默认框设置是针对80类目标设置的，不符合在海上检测无人艇、回收托架的场景需求， 因此通过K-means聚类分别得到无人艇和回收托架的默认框大小，最终得到无人艇模型 的默认框尺度为(17×17)，(20×14)，(28×18)，(37×27)，(52×36)，(60×60)，(95×50)， (127×101)，(288×203)，回收托架模型的默认框尺度为(14×16)，(22×22)，(46×32)， (60×52)，(103×86)，(175×154)，(201×168)，(327×283)，(400×332)；d.分别构建精 海8号无人艇数据集和回收托架数据集对网络参数在原有基础上进一步微调训练，以满 足实际目标检测的要求，得到最终的针对无人艇和回收托架的检测模型；

②将针对无人艇进行检测的Tiny-YOLO-USV模型部署到回收托架工控机上，将针对回收托架进行检测的Tiny-YOLO-USV模型部署到无人艇工控机上；

③实时的对每一帧摄像头采集的图像进行检测，分别得到无人艇、回收托架在图像中的 位置。

在本发明的步骤(4)中，具体步骤包括：

①在无人艇视角下，执行目标检测后得到一个目标框位置信息(x,y,w,h)，其中(x,y)代 表目标框的左上角坐标信息，(w,h)代表目标框的宽、高信息，目标框内为回收托架，以该位置信息初始化无人艇上的KCF目标跟踪器；

②在回收托架视角下，通过目标检测得到若干个无人艇的位置信息，包括目标无人艇和 干扰无人艇的信息，此时，结合相机内参计算出检测目标相对于摄像头的转向角，具体计算过程如下：

其中，x_i表示第i个目标框左上角的x方向的坐标值，w_i表示第i个目标框的宽，w 表示摄像头采集的图像的宽度，f_x表示通过张氏标定法得到的摄像头在x方向上的 焦距，表示图像中第i个目标相对于本地摄像头的转向角；

③结合GPS信息得到当前距离20m情况下目标无人艇相对于回收托架的转向角ψ₂₀；

④通过角度差绝对值ε_i排除干扰无人艇，取最小ε_i对应的无人艇作为目标无人艇，并将 对应的目标无人艇位置信息初始化回收托架上的KCF目标跟踪器，其中ε_i计算如下：

其中表示图像中第i个目标相对于本地摄像头的转向角，ε_i表示角度差绝对值，n表示 检测出的无人艇数目。

在本发明的步骤(5)中，具体步骤包括：

①读取初始帧，由给出的初始化后的目标位置，提取目标样本，训练相关滤波器用于计算下一帧的候选样本的响应；

②读取下一帧实时图像，在上一帧的目标位置附近采样得到候选样本；

③利用上一帧目标样本训练好的滤波器判断每个候选样本的响应，响应最强的样本对应 的图像位置即为本帧的目标位置；

④基于本帧的目标位置求取转向角ψ，并将ψ转化为舵角引导目标无人艇前进、回收托架开口旋转，转向角ψ的计算过程为：

其中ψ表示转向角，x_t表示目标位置左上角的x方向坐标值，w_t表示目标位置框的 宽，w表示摄像头采集图像宽度，f_x表示通过张氏标定法得到的摄像头在x方向上的焦 距；

⑤不断循环②到④，即对目标进行跟踪，并依据求取的每一帧的转向角引导无人艇和回 收托架的动作，保证二者在对中的同时不断靠近，直至实现对目标无人艇的回收。

在本发明中，步骤(4)的原理在于：针对回收托架视野中可能会出现干扰艇的问题，在回收托架检测出所有无人艇之后，结合相机内参计算出各自相对于回收托架的角度，再结合 GPS计算出的角度即可标定并排除干扰无人艇，并以目标无人艇位置信息初始化回收托架上 的目标跟踪器。

与现有技术相比，本发明通过20m范围节点的内外分别进行处理，具有高灵敏度、高精度、高鲁棒性和高稳定性的优点，对接成功率高，更实现了在多个干扰艇存在时标定并排除干扰艇，对目标艇进行自主对接回收，快速准确，安全有效。

附图说明

图1为本发明的方法流程图；

图2为本发明中Tiny-YOLO-USV的网络结构图；

图3为本发明中多艇干扰下无人艇视角下的对接过程图；

图4为本发明中多艇干扰下回收托架视角下的对接过程图。

具体实施方式

以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本 发明的保护范围。

一种无人艇自主对接方法，参见图1的流程图，具体包括以下步骤：

步骤1：首先分别在回收托架和无人艇上配备摄像头获取实时图像序列作为后续目标检 测和跟踪的数据来源、安装GPS获取各自经纬度信息。

步骤2：在接收到自主回收无人艇指令后，根据GPS获取的位置判断回收托架和目标无 人艇的距离，若距离大于20m则以GPS提供的信息计算无人艇和回收托架各自的转向角度并 转为舵角，执行前期对接过程，如图1所示，具体实施通过如下方式：

1)借助GPS获取无人艇和回收托架各自的艏向角，即船艏相对于大地坐标系下正北方 向的夹角，其计算公式如下：

其中，α表示艏向角，(x_next,y_next)表示本地一对GPS中其中一个GPS的经纬度信息，(x_next,y_next)表示本地一对GPS中另一个GPS的经纬度信息；

2)根据目标位置的经纬度信息和本地位置的经纬度信息得到无人艇和托架连线相对于 正北方向的夹角γ；

3)结合艏向角α和夹角γ计算出基于GPS信息得到的转向角ψ，计算过程如下：

ψ＝γ-α

4)在大于20m时分别计算目标无人艇和回收托架各自的转向角ψ_艇和ψ_架，并将其转化 为舵角，指导二者保持相互对中并不断靠近。

步骤3：距离达到20m时，使用目标检测算法Tiny-YOLO-USV将无人艇和回收托架摄 像头采集的图像视野中的目标检测出来，Tiny-YOLO-USV网络结构如图2所示，具体实施通 过如下方式：

1)针对海面目标无人艇、回收托架的检测设计出轻量级目标检测算法Tiny-YOLO-USV，该算法是在传统的Tiny-YOLOv3的基础上改进得来：a.使用了更大的输入尺寸 512*512代替原本的416*416输入，增大图像输入可以有效的提升检测的定位精度； b.增加特征融合分支，即增加高分辨率下的特征融合分支，提升网络对于多尺度目标 的检测能力，尤其是远距离小目标的检测性能；c.更多、更贴近船只形状的默认框设 置，传统的网络的默认框设置是针对80类目标设置的，不符合在海上检测无人艇、 回收托架的场景需求，因此通过K-means聚类分别得到无人艇和回收托架的默认框大 小，最终得到无人艇模型的默认框尺度为(17×17)，(20×14)，(28×18)，(37×27)， (52×36)，(60×60)，(95×50)，(127×101)，(288×203)，回收托架模型的默认框尺 度为(14×16)，(22×22)，(46×32)，(60×52)，(103×86)，(175×154)，(201×168)， (327×283)，(400×332)；d.分别构建精海8号无人艇数据集和回收托架数据集对网络 参数在原有基础上进一步微调训练，以满足实际目标检测的要求，得到最终的针对无 人艇和回收托架的检测模型；

2)将针对无人艇进行检测的Tiny-YOLO-USV模型部署到回收托架工控机上，将针对回收托架进行检测的Tiny-YOLO-USV模型部署到无人艇工控机上；

3)实时的对每一帧摄像头采集的图像进行检测，分别得到无人艇、回收托架在图像中的 位置。

步骤4：以目标位置信息初始化KCF目标跟踪器，具体实施通过如下方式：

1)在无人艇视角下，执行目标检测后得到一个目标框位置信息(x,y,w,h)，其中(x,y)代 表目标框的左上角坐标信息，(w,h)代表目标框的宽、高信息，目标框内为回收托架， 以该位置信息初始化无人艇上的KCF目标跟踪器；

2)在回收托架视角下，通过目标检测得到若干个无人艇的位置信息，包括目标无人艇和 干扰无人艇的信息，此时，结合相机内参计算出检测目标相对于摄像头的转向角，具 体计算过程如下：

其中，x_i表示第i个目标框左上角的x方向的坐标值，w_i表示第i个目标框的宽，w 表示摄像头采集的图像的宽度，f_x表示通过张氏标定法得到的摄像头在x方向上的 焦距，表示图像中第i个目标相对于本地摄像头的转向角；

3)结合GPS信息得到当前距离20m情况下目标无人艇相对于回收托架的转向角ψ₂₀；

4)通过角度差绝对值ε_i排除干扰无人艇，取最小ε_i对应的无人艇作为目标无人艇，并将 对应的目标无人艇位置信息初始化回收托架上的KCF目标跟踪器，其中ε_i计算如下：

其中表示图像中第i个目标相对于本地摄像头的转向角，ε_i表示角度差绝对值，n 表示检测出的无人艇数目。

步骤5：使用KCF目标跟踪算法对目标进行跟踪、得到转向角进而执行后续的对接过程，具体实施通过如下方式：

1)读取初始帧，由给出的初始化后的目标位置，提取目标样本，训练相关滤波器用于计算下一帧的候选样本的响应；

2)读取下一帧实时图像，在上一帧的目标位置附近采样得到候选样本；

3)利用上一帧目标样本训练好的滤波器判断每个候选样本的响应，响应最强的样本对应 的图像位置即为本帧的目标位置；

4)基于本帧的目标位置求取转向角ψ，并将ψ转化为舵角引导目标无人艇前进、回收托架开口旋转，转向角ψ的计算过程为：

其中ψ表示转向角，x_t表示目标位置左上角的x方向坐标值，w_t表示目标位置框的 宽，w表示摄像头采集图像宽度，f_x表示通过张氏标定法得到的摄像头在x方向上的焦 距；

5)不断循环2)到4)，即对目标进行跟踪，并依据求取的每一帧的转向角引导无人艇 和回收托架的动作，保证二者在对中的同时不断靠近，直至实现对目标无人艇的回收。

步骤6：对接完成，锁紧无人艇，对回收托架起吊继而完成对接过程。

在上述过程中，无人艇视角下完整的对接过程如图3所示，回收托架视角下对接过程如图4所示。

经过实际的海上和实验水池测试验证，目标检测模块的检测平均重叠率达到74.59%，执行速度达到24.16FPS，在执行跟踪过程中平均定位误差在15个像素以内，执行速度远大于24FPS，即检测和跟踪都具有高精度和高实时性。目前现有的针对无人艇的回收主要还是参考现有的有人艇的回收方案，需要大量的人为远程操控和辅助，耗时耗力且具有较大的危险性。本发明在悬浮托架回收方案的基础上实现了针对目标无人艇的无人自主对接，快速安全，实现了回收过程的智能化和无人化，最终在海上、实验水池中总共对接13次，失败1次，对接成功率达到92.3%，充分证明了该方案具有高鲁棒性的优点。

通过上述步骤可以发现，本发明所述的无人艇自主对接方法具有高灵敏度、高精度、高鲁棒性和高稳定性的优点，对接成功率高，更实现了在多个干扰艇存在时标定并排除干扰艇，对目标艇进行自主对接回收，快速准确，安全有效。

Claims (5)

1.一种无人艇自主对接方法，其特征在于：通过以下步骤来实现无人艇的自主回收：

(1)分别在回收托架和无人艇上配备摄像头获取实时图像序列作为后续目标检测和跟踪的数据来源、安装GPS获取各自经纬度信息；

(2)在接收到自主回收无人艇指令后，根据GPS获取的位置判断回收托架和目标无人艇的距离，若距离大于20m则以GPS提供的信息计算无人艇和回收托架各自的转向角并转为舵角，执行前期对接过程；

(3)距离达到20m时，使用目标检测算法Tiny-YOLO-USV将无人艇和回收托架摄像头采集的图像视野中的目标检测出来；

(4)以目标位置信息初始化KCF目标跟踪器；

(5)执行高效的目标跟踪KCF算法跟踪目标无人艇、回收托架，获取其对应位置，继而计算出转向角度，指导航控系统设置舵角，循环跟踪，直至完成整个的对接过程；

(6)对接完成，锁紧无人艇并对回收托架进行起吊，连带着目标无人艇完成回收。

2.根据权利要求1所述的无人艇自主对接方法，其特征在于：在步骤(2)中，以GPS提供的信息计算无人艇和回收托架各自的转向角并转为舵角的具体步骤包括：

①借助GPS获取无人艇和回收托架各自的艏向角，即船艏相对于大地坐标系下正北方向的夹角，其计算公式如下：

其中，α表示艏向角，(x_next,y_next)表示本地一对GPS中其中一个GPS的经纬度信息，(x_next,y_next)表示本地一对GPS中另一个GPS的经纬度信息；

②根据目标位置的经纬度信息和本地位置的经纬度信息得到无人艇和托架连线相对于正北方向的夹角γ；

③结合艏向角α和夹角γ计算出基于GPS信息得到的转向角ψ，计算过程如下：

ψ＝γ-α

④在大于20m时分别计算目标无人艇和回收托架各自的转向角ψ_艇和ψ_架，并将其转化为舵角，指导二者保持相互对中并不断靠近。

3.根据权利要求1所述的无人艇自主对接方法，其特征在于：在步骤(3)中，具体步骤包括：

①针对海面目标无人艇、回收托架的检测设计出轻量级目标检测算法Tiny-YOLO-USV，该算法是在传统的Tiny-YOLOv3的基础上改进得来：a.使用了更大的输入尺寸512*512代替原本的416*416输入，增大图像输入可以有效的提升检测的定位精度；b.增加特征融合分支，即增加高分辨率下的特征融合分支，提升网络对于多尺度目标的检测能力，尤其是远距离小目标的检测性能；c.更多、更贴近船只形状的默认框设置，传统的网络的默认框设置是针对80类目标设置的，不符合在海上检测无人艇、回收托架的场景需求，因此通过K-means聚类分别得到无人艇和回收托架的默认框大小，最终得到无人艇模型的默认框尺度为(17×17)，(20×14)，(28×18)，(37×27)，(52×36)，(60×60)，(95×50)，(127×101)，(288×203)，回收托架模型的默认框尺度为(14×16)，(22×22)，(46×32)，(60×52)，(103×86)，(175×154)，(201×168)，(327×283)，(400×332)；d.分别构建精海8号无人艇数据集和回收托架数据集对网络参数在原有基础上进一步微调训练，以满足实际目标检测的要求，得到最终的针对无人艇和回收托架的检测模型；

②将针对无人艇进行检测的Tiny-YOLO-USV模型部署到回收托架工控机上，将针对回收托架进行检测的Tiny-YOLO-USV模型部署到无人艇工控机上；

③实时的对每一帧摄像头采集的图像进行检测，分别得到无人艇、回收托架在图像中的位置。

4.根据权利要求1所述的无人艇自主对接方法，其特征在于：在步骤(4)中，具体步骤包括：

①在无人艇视角下，执行目标检测后得到一个目标框位置信息(x,y,w,h)，其中(x,y)代表目标框的左上角坐标信息，(w,h)代表目标框的宽、高信息，目标框内为回收托架，以该位置信息初始化无人艇上的KCF目标跟踪器；

②在回收托架视角下，通过目标检测得到若干个无人艇的位置信息，包括目标无人艇和干扰无人艇的信息，此时，结合相机内参计算出检测目标相对于摄像头的转向角，具体计算过程如下：

其中，x_i表示第i个目标框左上角的x方向的坐标值，w_i表示第i个目标框的宽，w表示摄像头采集的图像的宽度，f_x表示通过张氏标定法得到的摄像头在x方向上的焦距，表示图像中第i个目标相对于本地摄像头的转向角；

③结合GPS信息得到当前距离20m情况下目标无人艇相对于回收托架的转向角ψ₂₀；

④通过角度差绝对值ε_i排除干扰无人艇，取最小ε_i对应的无人艇作为目标无人艇，并将对应的目标无人艇位置信息初始化回收托架上的KCF目标跟踪器，其中ε_i计算如下：

其中表示图像中第i个目标相对于本地摄像头的转向角，ε_i表示角度差绝对值，n表示检测出的无人艇数目。

5.根据权利要求1所述的无人艇自主对接方法，其特征在于：在步骤(5)中，具体步骤包括：

①读取初始帧，由给出的初始化后的目标位置，提取目标样本，训练相关滤波器用于计算下一帧的候选样本的响应；

②读取下一帧实时图像，在上一帧的目标位置附近采样得到候选样本；

③利用上一帧目标样本训练好的滤波器判断每个候选样本的响应，响应最强的样本对应的图像位置即为本帧的目标位置；

④基于本帧的目标位置求取转向角ψ，并将ψ转化为舵角引导目标无人艇前进、回收托架开口旋转，转向角ψ的计算过程为：

其中ψ表示转向角，x_t表示目标位置左上角的x方向坐标值，w_t表示目标位置框的宽，w表示摄像头采集图像宽度，f_x表示通过张氏标定法得到的摄像头在x方向上的焦距；

⑤不断循环②到④，即对目标进行跟踪，并依据求取的每一帧的转向角引导无人艇和回收托架的动作，保证二者在对中的同时不断靠近，直至实现对目标无人艇的回收。