CN110610134B - 一种无人艇自主对接方法 - Google Patents

一种无人艇自主对接方法 Download PDF

Info

Publication number
CN110610134B
CN110610134B CN201910742689.8A CN201910742689A CN110610134B CN 110610134 B CN110610134 B CN 110610134B CN 201910742689 A CN201910742689 A CN 201910742689A CN 110610134 B CN110610134 B CN 110610134B
Authority
CN
China
Prior art keywords
target
unmanned ship
recovery
unmanned
bracket
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910742689.8A
Other languages
English (en)
Other versions
CN110610134A (zh
Inventor
谢少荣
徐海彬
李小毛
陈加宏
彭艳
罗均
蒲华燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201910742689.8A priority Critical patent/CN110610134B/zh
Publication of CN110610134A publication Critical patent/CN110610134A/zh
Application granted granted Critical
Publication of CN110610134B publication Critical patent/CN110610134B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0206—Control of position or course in two dimensions specially adapted to water vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明属于无人艇回收领域，具体为一种无人艇自主对接方法，包括以下步骤：首先通过摄像头采集实时图像；接着，在无人艇和回收托架距离大于20m时依靠GPS引导对接；随后距离缩短到20m时通过目标检测得到目标位置并初始化目标跟踪器，同时借助GPS排除非目标无人艇的干扰；最后，跟踪指定目标，得到目标位置信息并转化为舵角，引导目标无人艇前进、回收托架旋转，二者相互对中，直至对接完成。本发明具有高灵敏度、高精度、高鲁棒性和高稳定性的优点，对接成功率高，更实现了在多个干扰艇存在时标定并排除干扰艇，对目标艇进行自主对接回收，快速准确，安全有效。

Description

一种无人艇自主对接方法
技术领域
本发明涉及无人设备应用技术领域，尤其涉及无人艇的回收，具体是一种结合检测、GPS、跟踪的多艇干扰下的无人艇自主对接方法。
背景技术
无人艇是一种无人操作的小型智能化水面移动平台，主要用于执行危险或者不适于有人船只执行的任务，能够在海面、河道自主航行的同时实现自主路径规划、自主导航避障、自主环境感知等功能，并且通过装载不同的设备来代替工作人员执行大量不同的高重复性工作，具有重大的应用前景。
无人艇的回收是指无人艇在完成水上任务之后，通过一定的方式获取无人艇方位，根据获得的信号引导无人艇缓慢驶入回收托架，随后利用回收托架对无人艇进行回收。作为无人艇工作过程中必不可少的一部分，无人艇的回收必须尽可能的无人化、智能化，但目前依旧无法做到自主回收无人艇，回收的难点在于无法实现无人艇和回收托架的水面自主对接。传统自主对接的基本思路是通过GPS获取无人艇与回收托架的经纬度和艏向角信息，进而计算出二者各自的转向角度，以此控制无人艇前进、回收托架旋转开口，保证对中并对接回收。但是，回收半径一般控制在50m以内，而通过GPS和惯导获取的转向角度误差会在20m范围内急剧上升，实时性和精度不够高，无法准确快速的实现无人艇和回收托架的对中和驶入，无法满足回收的需求。
近几年来，目标跟踪技术和基于深度学习的目标检测技术有了极大的发展，特别是目标检测技术，在有足够的训练数据的支撑的情况下，通过检测算法可以准确的对图像中的目标实现定位和分类。但是，现有的检测算法不能区分同一类别的多个目标，即同时出现极其相似的目标艇和干扰艇时，检测算法会同时进行识别，而无法将目标艇和干扰艇区分开来。另外，在无较多遮挡的情况下，借助目标跟踪可以实现对目标物准确快速的跟踪，但使用目标跟踪需要预先给定精确的目标位置信息，若此时仍需要由人为给定则背离了自主对接无人化的初衷，仍然难以满足人们的需求。
发明内容
为了解决现有技术的不足，本发明提出一种结合检测、GPS、跟踪的多艇干扰下的无人艇自主对接方法，实现无人艇的自主回收。
本发明要解决的技术问题是通过以下技术方案实现的：
一种无人艇自主对接方法，通过以下步骤来实现无人艇的自主回收：
(1)分别在回收托架和无人艇上配备摄像头获取实时图像序列作为后续目标检测和跟踪的数据来源、安装GPS获取各自经纬度信息；
(2)在接收到自主回收无人艇指令后，根据GPS获取的位置判断回收托架和目标无人艇的距离，若距离大于20m则以GPS提供的信息计算无人艇和回收托架各自的转向角并转为舵角，执行前期对接过程；
(3)距离达到20m时，使用目标检测算法Tiny-YOLO-USV将无人艇和回收托架摄像头采集的图像视野中的目标检测出来；
(4)以目标位置信息初始化KCF目标跟踪器；
(5)执行高效的目标跟踪KCF算法跟踪目标无人艇、回收托架，获取其对应位置，继而计算出转向角度，指导航控系统设置舵角，循环跟踪，直至完成整个的对接过程；
(6)对接完成，锁紧无人艇并对回收托架进行起吊，连带着目标无人艇完成回收。
在本发明的步骤(2)中，以GPS提供的信息计算无人艇和回收托架各自的转向角并转为舵角的具体步骤包括：
(2-1)借助GPS获取无人艇和回收托架各自的艏向角，即船艏相对于大地坐标系下正
北方向的夹角，其计算公式如下：
Figure GDA0003921179420000021
其中，α表示艏向角，(xfirst，yfirst)表示本地一对GPS中其中一个GPS的经纬度信息，(xnext,ynext)表示本地一对GPS中另一个GPS的经纬度信息；
(2-2)根据目标位置的经纬度信息和本地位置的经纬度信息得到无人艇和托架连线相对于正北方向的夹角γ；
(2-3)结合艏向角a和夹角γ计算出基于GPS信息得到的转向角ψ，计算过程如下：
ψ＝γ-α
(2-4)在大于20m时分别计算目标无人艇和回收托架各自的转向角ψ艇和ψ架，并将其转化为舵角，指导二者保持相互对中并不断靠近。
在本发明的步骤(3)中，具体步骤包括：
(3-1)针对海面目标无人艇、回收托架的检测设计出轻量级目标检测算法Tiny-YOLO-USV，该算法是在传统的Tiny-YOLOv3的基础上改进得来：a.使用了更大的输入尺寸512*512代替原本的416*416输入，增大图像输入可以有效的提升检测的定位精度；b.增加特征融合分支，即增加高分辨率下的特征融合分支，提升网络对于多尺度目标的检测能力，尤其是远距离小目标的检测性能；c.更多、更贴近船只形状的默认框设置，传统的网络的默认框设置是针对80类目标设置的，不符合在海上检测无人艇、回收托架的场景需求，因此通过K-means聚类分别得到无人艇和回收托架的默认框大小，最终得到无人艇模型的默认框尺度为(17×17)，(20×14)，(28×18)，(37×27)，(52×36)，(60×60)，(95×50)，(127×101)，(288×203)，回收托架模型的默认框尺度为(14×16)，(22×22)，(46×32)，(60×52)，(103×86)，(175×154)，(201×168)，(327×283)，(400×332)；d.分别构建精海8号无人艇数据集和回收托架数据集对网络参数在原有基础上进一步微调训练，以满足实际目标检测的要求，得到最终的针对无人艇和回收托架的检测
模型；
(3-2)将针对无人艇进行检测的Tiny-YOLO-USV模型部署到回收托架工控机上，将针对回收托架进行检测的Tiny-YOLO-USV模型部署到无人艇工控机上；
(3-3)实时的对每一帧摄像头采集的图像进行检测，分别得到无人艇、回收托架在图像中的位置。
在本发明的步骤(4)中，具体步骤包括：
(4-1)在无人艇视角下，执行目标检测后得到一个目标框位置信息(x,y,w,h)，其中(x,y)代表目标框的左上角坐标信息，(w,h)代表目标框的宽、高信息，目标框内为回收托架，以该位置信息初始化无人艇上的KCF目标跟踪器；
(4-2)在回收托架视角下，通过目标检测得到若干个无人艇的位置信息，包括目标无人艇和干扰无人艇的信息，此时，结合相机内参计算出检测目标相对于摄像头的转向角，具体计算过程如下：
Figure GDA0003921179420000041
其中，xi表示第i个目标框左上角的x方向的坐标值，wi表示第i个目标框的宽，w表示摄像头采集的图像的宽度，fx表示通过张氏标定法得到的摄像头在x方向上的焦距，
Figure GDA0003921179420000042
表示图像中第i个目标相对于本地摄像头的转向角；
(4-3)结合GPS信息得到当前距离20m情况下目标无人艇相对于回收托架的转向角ψ20；
(4-4)通过角度差绝对值εi排除干扰无人艇，取最小εi对应的无人艇作为目标无人艇，并将对应的目标无人艇位置信息初始化回收托架上的KCF目标跟踪器，其中εi计算如下：
Figure GDA0003921179420000043
其中
Figure GDA0003921179420000044
表示图像中第i个目标相对于本地摄像头的转向角，εi表示角度差绝对值，n表示检测出的无人艇数目。
在本发明的步骤(5)中，具体步骤包括：
(5-1)读取初始帧，由给出的初始化后的目标位置，提取目标样本，训练相关滤波器用于计算下一帧的候选样本的响应；
(5-2)读取下一帧实时图像，在上一帧的目标位置附近采样得到候选样本；
(5-3)利用上一帧目标样本训练好的滤波器判断每个候选样本的响应，响应最强的样本对应的图像位置即为本帧的目标位置；
(5-4)基于本帧的目标位置求取转向角ψ，并将ψ转化为舵角引导目标无人艇前进、回收托架开口旋转，转向角ψ的计算过程为：
Figure GDA0003921179420000045
其中ψ表示转向角，xt表示目标位置左上角的x方向坐标值，wt表示目标位置框的宽，w表示摄像头采集图像宽度，fx表示通过张氏标定法得到的摄像头在x方向上的焦距；
(5-5)不断循环(5-2)到(5-4)，即对目标进行跟踪，并依据求取的每一帧的转向角引导无人艇和回收托架的动作，保证二者在对中的同时不断靠近，直至实现对目标无人艇的回收。
在本发明中，步骤(4)的原理在于：针对回收托架视野中可能会出现干扰艇的问题，在回收托架检测出所有无人艇之后，结合相机内参计算出各自相对于回收托架的角度，再结合GPS计算出的角度即可标定并排除干扰无人艇，并以目标无人艇位置信息初始化回收托架上的目标跟踪器。
与现有技术相比，本发明通过20m范围节点的内外分别进行处理，具有高灵敏度、高精度、高鲁棒性和高稳定性的优点，对接成功率高，更实现了在多个干扰艇存在时标定并排除干扰艇，对目标艇进行自主对接回收，快速准确，安全有效。
附图说明
图1为本发明的方法流程图；
图2为本发明中Tiny-YOLO-USV的网络结构图；
图3为本发明中多艇干扰下无人艇视角下的对接过程图；
图4为本发明中多艇干扰下回收托架视角下的对接过程图。
具体实施方式
以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
一种无人艇自主对接方法，参见图1的流程图，具体包括以下步骤：
步骤1：首先分别在回收托架和无人艇上配备摄像头获取实时图像序列作为后续目标检测和跟踪的数据来源、安装GPS获取各自经纬度信息。
步骤2：在接收到自主回收无人艇指令后，根据GPS获取的位置判断回收托架和目标无人艇的距离，若距离大于20m则以GPS提供的信息计算无人艇和回收托架各自的转向角度并转为舵角，执行前期对接过程，如图1所示，具体实施通过如下方式：
1)借助GPS获取无人艇和回收托架各自的艏向角，即船艏相对于大地坐标系下正北方向的夹角，其计算公式如下：
Figure GDA0003921179420000051
其中，α表示艏向角，(xfirst，yfirst)表示本地一对GPS中其中一个GPS的经纬度信息，(xnext,ynext)表示本地一对GPS中另一个GPS的经纬度信息；
2)根据目标位置的经纬度信息和本地位置的经纬度信息得到无人艇和托架连线相对于正北方向的夹角γ；
3)结合艏向角α和夹角γ计算出基于GPS信息得到的转向角ψ，计算过程如下：
ψ＝γ-α
4)在大于20m时分别计算目标无人艇和回收托架各自的转向角v艇和ψ架，并将其转化为舵角，指导二者保持相互对中并不断靠近。
步骤3：距离达到20m时，使用目标检测算法Tiny-YOLO-USV将无人艇和回收托架摄像头采集的图像视野中的目标检测出来，Tiny-YOLO-USV网络结构如图2所示，具体实施通过如下方式：
1)针对海面目标无人艇、回收托架的检测设计出轻量级目标检测算法Tiny-YOLO-USV，该算法是在传统的Tiny-YOLOv3的基础上改进得来：a.使用了更大的输入尺寸512*512代替原本的416*416输入，增大图像输入可以有效的提升检测的定位精度；b.增加特征融合分支，即增加高分辨率下的特征融合分支，提升网络对于多尺度目标的检测能力，尤其是远距离小目标的检测性能；c.更多、更贴近船只形状的默认框设置，传统的网络的默认框设置是针对80类目标设置的，不符合在海上检测无人艇、回收托架的场景需求，因此通过K-means聚类分别得到无人艇和回收托架的默认框大小，最终得到无人艇模型的默认框尺度为(17×17)，(20×14)，(28×18)，(37×27)，(52×36)，(60×60)，(95×50)，(127×101)，(288×203)，回收托架模型的默认框尺度为(14×16)，(22×22)，(46×32)，(60×52)，(103×86)，(175×154)，(201×168)，(327×283)，(400×332)；d.分别构建精海8号无人艇数据集和回收托架数据集对网络参数在原有基础上进一步微调训练，以满足实际目标检测的要求，得到最终的针对无人艇和回收托架的检测模型；
2)将针对无人艇进行检测的Tiny-YOLO-USV模型部署到回收托架工控机上，将针对回收托架进行检测的Tiny-YOLO-USV模型部署到无人艇工控机上；
3)实时的对每一帧摄像头采集的图像进行检测，分别得到无人艇、回收托架在图像中的位置。
步骤4：以目标位置信息初始化KCF目标跟踪器，具体实施通过如下方式：
1)在无人艇视角下，执行目标检测后得到一个目标框位置信息(x,y,w,h)，其中(x,y)代表目标框的左上角坐标信息，(w,h)代表目标框的宽、高信息，目标框内为回收托架，以该位置信息初始化无人艇上的KCF目标跟踪器；
2)在回收托架视角下，通过目标检测得到若干个无人艇的位置信息，包括目标无人艇和干扰无人艇的信息，此时，结合相机内参计算出检测目标相对于摄像头的转向角，具体计算过程如下：
Figure GDA0003921179420000071
其中，xi表示第i个目标框左上角的x方向的坐标值，wi表示第i个目标框的宽，w表示摄像头采集的图像的宽度，fx表示通过张氏标定法得到的摄像头在x方向上的焦距，
Figure GDA0003921179420000072
表示图像中第i个目标相对于本地摄像头的转向角；
3)结合GPS信息得到当前距离20m情况下目标无人艇相对于回收托架的转向角ψ20；
4)通过角度差绝对值εi排除干扰无人艇，取最小εi对应的无人艇作为目标无人艇，并将对应的目标无人艇位置信息初始化回收托架上的KCF目标跟踪器，其中εi计算如下：
Figure GDA0003921179420000073
其中
Figure GDA0003921179420000074
表示图像中第i个目标相对于本地摄像头的转向角，εi表示角度差绝对值，n表示检测出的无人艇数目。
步骤5：使用KCF目标跟踪算法对目标进行跟踪、得到转向角进而执行后续的对接过程，具体实施通过如下方式：
1)读取初始帧，由给出的初始化后的目标位置，提取目标样本，训练相关滤波器用于计算下一帧的候选样本的响应；
2)读取下一帧实时图像，在上一帧的目标位置附近采样得到候选样本；
3)利用上一帧目标样本训练好的滤波器判断每个候选样本的响应，响应最强的样本对应的图像位置即为本帧的目标位置；
4)基于本帧的目标位置求取转向角ψ，并将ψ转化为舵角引导目标无人艇前进、回收托架开口旋转，转向角ψ的计算过程为：
Figure GDA0003921179420000075
其中ψ表示转向角，xt表示目标位置左上角的x方向坐标值，wt表示目标位置框的宽，w表示摄像头采集图像宽度，fx表示通过张氏标定法得到的摄像头在x方向上的焦距；
5)不断循环本步骤的2)到4)，即对目标进行跟踪，并依据求取的每一帧的转向角引导无人艇和回收托架的动作，保证二者在对中的同时不断靠近，直至实现对目标无人艇的回收。
步骤6：对接完成，锁紧无人艇，对回收托架起吊继而完成对接过程。
在上述过程中，无人艇视角下完整的对接过程如图3所示，回收托架视角下对接过程如图4所示。
经过实际的海上和实验水池测试验证，目标检测模块的检测平均重叠率达到74.59％，执行速度达到24.16FPS，在执行跟踪过程中平均定位误差在15个像素以内，执行速度远大于24FPS，即检测和跟踪都具有高精度和高实时性。目前现有的针对无人艇的回收主要还是参考现有的有人艇的回收方案，需要大量的人为远程操控和辅助，耗时耗力且具有较大的危险性。本发明在悬浮托架回收方案的基础上实现了针对目标无人艇的无人自主对接，快速安全，实现了回收过程的智能化和无人化，最终在海上、实验水池中总共对接13次，失败1次，对接成功率达到92.3％，充分证明了该方案具有高鲁棒性的优点。
通过上述步骤可以发现，本发明所述的无人艇自主对接方法具有高灵敏度、高精度、高鲁棒性和高稳定性的优点，对接成功率高，更实现了在多个干扰艇存在时标定并排除干扰艇，对目标艇进行自主对接回收，快速准确，安全有效。

Claims (3)

1.一种无人艇自主对接方法，其特征在于：通过以下步骤来实现无人艇的自主回收：
(1)分别在回收托架和无人艇上配备摄像头获取实时图像序列作为后续目标检测和跟踪的数据来源、安装GPS获取各自经纬度信息；
(2)在接收到自主回收无人艇指令后，根据GPS获取的位置判断回收托架和目标无人艇的距离，若距离大于20m则以GPS提供的信息计算无人艇和回收托架各自的转向角并转为舵角，执行前期对接过程；
(3)距离达到20m时，使用目标检测算法Tiny-YOLO-USV将无人艇和回收托架摄像头采集的图像视野中的目标检测出来；
(4)以目标位置信息初始化KCF目标跟踪器；
(5)执行高效的目标跟踪KCF算法跟踪目标无人艇、回收托架，获取其对应位置，继而计算出转向角度，指导航控系统设置舵角，循环跟踪，直至完成整个的对接过程；
(6)对接完成，锁紧无人艇并对回收托架进行起吊，连带着目标无人艇完成回收；
其中：步骤(4)的具体操作包括：
(4-1)在无人艇视角下，执行目标检测后得到一个目标框位置信息(x,y,w,h)，其中(x,y)代表目标框的左上角坐标信息，(w,h)代表目标框的宽、高信息，目标框内为回收托架，以该位置信息初始化无人艇上的KCF目标跟踪器；
(4-2)在回收托架视角下，通过目标检测得到若干个无人艇的位置信息，包括目标无人艇和干扰无人艇的信息，此时，结合相机内参计算出检测目标相对于摄像头的转向角，具体计算过程如下：
Figure FDA0003921179410000011
其中，xi表示第i个目标框左上角的x方向的坐标值，wi表示第i个目标框的宽，w表示摄像头采集的图像的宽度，fx表示通过张氏标定法得到的摄像头在x方向上的焦距，
Figure FDA0003921179410000012
表示图像中第i个目标相对于本地摄像头的转向角；
(4-3)结合GPS信息得到当前距离20m情况下目标无人艇相对于回收托架的转向角ψ20；
(4-4)通过角度差绝对值εi排除干扰无人艇，取最小εi对应的无人艇作为目标无人艇，并将对应的目标无人艇位置信息初始化回收托架上的KCF目标跟踪器，其中εi计算如下：
Figure FDA0003921179410000024
其中
Figure FDA0003921179410000021
表示图像中第i个目标相对于本地摄像头的转向角，εi表示角度差绝对值，n表示检测出的无人艇数目；
步骤(5)的具体操作包括：
(5-1)读取初始帧，由给出的初始化后的目标位置，提取目标样本，训练相关滤波器用于计算下一帧的候选样本的响应；
(5-2)读取下一帧实时图像，在上一帧的目标位置附近采样得到候选样本；
(5-3)利用上一帧目标样本训练好的滤波器判断每个候选样本的响应，响应最强的样本对应的图像位置即为本帧的目标位置；
(5-4)基于本帧的目标位置求取转向角ψ，并将ψ转化为舵角引导目标无人艇前进、回收托架开口旋转，转向角ψ的计算过程为：
Figure FDA0003921179410000022
其中ψ表示转向角，xt表示目标位置左上角的x方向坐标值，wt表示目标位置框的宽，w表示摄像头采集图像宽度，fx表示通过张氏标定法得到的摄像头在x方向上的焦距；
(5-5)不断循环(5-2)到(5-4)，即对目标进行跟踪，并依据求取的每一帧的转向角引导无人艇和回收托架的动作，保证二者在对中的同时不断靠近，直至实现对目标无人艇的回收。
2.根据权利要求1所述的无人艇自主对接方法，其特征在于：在步骤(2)中，以GPS提供的信息计算无人艇和回收托架各自的转向角并转为舵角的具体步骤包括：
(2-1)借助GPS获取无人艇和回收托架各自的艏向角，即船艏相对于大地坐标系下正北方向的夹角，其计算公式如下：
Figure FDA0003921179410000023
其中，α表示艏向角，(xfirst，yfirst)表示本地一对GPS中其中一个GPS的经纬度信息，(xnext,ynext)表示本地一对GPS中另一个GPS的经纬度信息；
(2-2)根据目标位置的经纬度信息和本地位置的经纬度信息得到无人艇和托架连线相对于正北方向的夹角γ；
(2-3)结合艏向角α和夹角γ计算出基于GPS信息得到的转向角ψ，计算过程如下：
ψ＝γ-α
(2-4)在大于20m时分别计算目标无人艇和回收托架各自的转向角ψ艇和ψ架，并将其转化为舵角，指导二者保持相互对中并不断靠近。
3.根据权利要求1所述的无人艇自主对接方法，其特征在于：在步骤(3)中，具体步骤包括：
(3-1)针对海面目标无人艇、回收托架的检测设计出轻量级目标检测算法Tiny-YOLO-USV，该算法是在传统的Tiny-YOLOv3的基础上改进得来：a.使用了更大的输入尺寸512*512代替原本的416*416输入，增大图像输入可以有效的提升检测的定位精度；b.增加特征融合分支，即增加高分辨率下的特征融合分支，提升网络对于多尺度目标的检测能力，尤其是远距离小目标的检测性能；c.更多、更贴近船只形状的默认框设置，传统的网络的默认框设置是针对80类目标设置的，不符合在海上检测无人艇、回收托架的场景需求，因此通过K-means聚类分别得到无人艇和回收托架的默认框大小，
最终得到无人艇模型的默认框尺度为(17×17)，(20×14)，(28×18)，(37×27)，(52×36)，(60×60)，(95×50)，(127×101)，(288×203)，回收托架模型的默认框尺度为(14×16)，(22×22)，(46×32)，(60×52)，(103×86)，(175×154)，(201×168)，(327×283)，(400×332)；d.分别构建精海8号无人艇数据集和回收托架数据集对网络参数在原有基础上进一步微调训练，以满足实际目标检测的要求，得到最终的针对无人艇和回收托架的检测模型；
(3-2)将针对无人艇进行检测的Tiny-YOLO-USV模型部署到回收托架工控机上，将针对回收托架进行检测的Tiny-YOLO-USV模型部署到无人艇工控机上；
(3-3)实时的对每一帧摄像头采集的图像进行检测，分别得到无人艇、回收托架在图像中的位置。
CN201910742689.8A 2019-08-13 2019-08-13 一种无人艇自主对接方法 Active CN110610134B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910742689.8A CN110610134B (zh) 2019-08-13 2019-08-13 一种无人艇自主对接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910742689.8A CN110610134B (zh) 2019-08-13 2019-08-13 一种无人艇自主对接方法

Publications (2)

Publication Number Publication Date
CN110610134A CN110610134A (zh) 2019-12-24
CN110610134B true CN110610134B (zh) 2022-12-20

Family

ID=68889806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910742689.8A Active CN110610134B (zh) 2019-08-13 2019-08-13 一种无人艇自主对接方法

Country Status (1)

Country Link
CN (1) CN110610134B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111366959B (zh) * 2020-03-16 2021-11-30 华中科技大学 一种基于图像的无人艇回收方法及系统
CN112441191B (zh) * 2020-11-30 2022-03-11 上海海事大学 一种无人船体之间的自动对接装置的控制方法
CN113031632B (zh) * 2021-03-15 2022-09-20 王曰英 一种适用于潜航器水面回收的控制系统及其控制方法
CN113657256B (zh) * 2021-08-16 2023-09-26 大连海事大学 一种无人艇载无人机海空协同视觉跟踪与自主回收方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184816A (zh) * 2015-08-18 2015-12-23 江苏科技大学 基于usv的视觉检测和水面目标追踪系统及其检测追踪方法
WO2017143631A1 (zh) * 2016-02-22 2017-08-31 江苏大学 一种水产养殖作业船自动导航路径跟踪方法
CN108646741A (zh) * 2018-05-31 2018-10-12 哈尔滨工程大学 一种基于视觉反馈的无人艇目标跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184816A (zh) * 2015-08-18 2015-12-23 江苏科技大学 基于usv的视觉检测和水面目标追踪系统及其检测追踪方法
WO2017143631A1 (zh) * 2016-02-22 2017-08-31 江苏大学 一种水产养殖作业船自动导航路径跟踪方法
CN108646741A (zh) * 2018-05-31 2018-10-12 哈尔滨工程大学 一种基于视觉反馈的无人艇目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于SSD-CF的无人艇目标检测跟踪方法;陈欣佳 等;《中国测试》;20190228;第45卷(第2期);全文 *

Also Published As

Publication number Publication date
CN110610134A (zh) 2019-12-24

Similar Documents

Publication Publication Date Title
CN110610134B (zh) 一种无人艇自主对接方法
Carreras et al. Vision-based localization of an underwater robot in a structured environment
CN111968128B (zh) 一种基于图像标记的无人机视觉姿态和位置解算方法
KR101781757B1 (ko) 객체 인식을 위한 수중 이미지 처리장치 및 그 방법
CN105184816A (zh) 基于usv的视觉检测和水面目标追踪系统及其检测追踪方法
Shkurti et al. State estimation of an underwater robot using visual and inertial information
KR20210007767A (ko) 딥러닝-영상인식 기반 해상폐기물 제거용 자율운항 선박 시스템
CN113657256A (zh) 一种无人艇载无人机海空协同视觉跟踪与自主回收方法
Zhang et al. A object detection and tracking method for security in intelligence of unmanned surface vehicles
CN110427030B (zh) 一种基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法
CN113110514A (zh) 一种基于大数据的无人船航行避障系统及方法
Brogaard et al. Towards uav-based absolute hierarchical localization in confined spaces
Vezinet et al. State of the art of image-aided navigation techniques for aircraft approach and landing
Mateos Apriltags 3d: dynamic fiducial markers for robust pose estimation in highly reflective environments and indirect communication in swarm robotics
CN111090283A (zh) 一种无人艇组合定位定向方法和系统
Fraga et al. Squirtle: An ASV for inland water environmental monitoring
CN114119752A (zh) 基于gnss和视觉的室内外衔接的机器人定位方法
CN116188470B (zh) 一种基于无人机航拍识别的故障定位方法和系统
Sang et al. An autonomous underwater vehicle simulation with fuzzy sensor fusion for pipeline inspection
CN112880678A (zh) 一种复杂水域环境中无人艇航行规划方法
Oleynikova et al. Perimeter patrol on autonomous surface vehicles using marine radar
Paez et al. Implementation of an unmanned surface vehicle for environmental monitoring applications
Jiang et al. Underwater loop-closure detection for mechanical scanning imaging sonar by filtering the similarity matrix with probability hypothesis density filter
Dudek et al. Sensor-based behavior control for an autonomous underwater vehicle
Sun et al. Autonomous underwater vehicle docking system for energy and data transmission in cabled ocean observatory networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant