CN111366959A - 一种基于图像的无人艇回收方法及系统 - Google Patents

一种基于图像的无人艇回收方法及系统 Download PDF

Info

Publication number
CN111366959A
CN111366959A CN202010183086.1A CN202010183086A CN111366959A CN 111366959 A CN111366959 A CN 111366959A CN 202010183086 A CN202010183086 A CN 202010183086A CN 111366959 A CN111366959 A CN 111366959A
Authority
CN
China
Prior art keywords
ship
unmanned
real
time
mother
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010183086.1A
Other languages
English (en)
Other versions
CN111366959B (zh
Inventor
余文勇
乔瑜
王泉斌
孙江龙
叶晓明
周波
王珏
王英杰
李梦威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202010183086.1A priority Critical patent/CN111366959B/zh
Publication of CN111366959A publication Critical patent/CN111366959A/zh
Application granted granted Critical
Publication of CN111366959B publication Critical patent/CN111366959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/0206Control of position or course in two dimensions specially adapted to water vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于无人艇回收技术领域,并具体公开了一种基于图像的无人艇回收方法及系统,其首先测量待回收的无人艇与母船的距离,并判断测量的距离是否在预设的距离范围内,当测量距离在预设距离范围内时点亮无人艇和母船上的指示物,并利用无人艇和母船上各自的视觉成像单元实时拍摄对方指示物的图像;处理实时拍摄的母船及无人艇上指示物的图像得到实时航向角信息、实时距离信息和实时偏向角信息;利用实时航向角信息、实时偏向角信息和实时距离信息实时控制无人艇的航向及航速,使其运动至指定位置,以此实现无人艇的回收。本发明可实现无人艇的智能、自动化、高效、稳定、安全的回收。

Description

一种基于图像的无人艇回收方法及系统
技术领域
本发明属于无人艇回收技术领域,更具体地,涉及一种基于图像的无人艇回收方法及系统。
背景技术
在进行远海科研、探索任务时,无人艇常常面临从母船上布放而非从船坞中布放的情况,并且在无人艇完成作业任务后需实现回收。所谓无人艇回收,一般而言是指将无人艇回收至母船的艉滑道中。
目前通常采用悬臂装置对无人艇进行吊放实现布放与回收,如中国专利CN108482587B公开了一种无人艇回收布放系统,包括设置在母船上的悬吊装置、设置在无人艇上的预固定装置和自锁连接装置。上述技术在无人艇回收过程中常常存在以下几种问题:对海面环境要求高,有风浪时容易出现无人艇难以着钩的现象;安全系数低,海面的风浪容易造成母船船身与无人艇的磕碰;整个回收过程耗时过长;难以自动化,需要很多人手同时参与回收过程;耗能较大,无论是液压驱动还是电力驱动的吊臂想要将无人艇吊回母船都需要供给很大的能量。
又如中国专利CN110427030A公开了一种基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法,其基于Tiny-YOLOship目标检测算法得出了无人艇和回收托架的转向角度,以转向角度为控制信号,有效协助无人艇和回收托架保持对中。上述技术仍然存在如下问题:缺少一些较为重要的姿态信息,例如距离和偏向角,其中距离决定了无人艇是否减速进入冲坡阶段,而偏向角和距离相结合可以计算无人艇相对于母船的位置,进行无人艇的集群控制,所以抛弃这些信息,仅以无人艇的航向角为导向实现无人艇回收很难应用在母船回收系统上。
针对以上问题,本领域亟待研究一种方便、准确、快捷的回收方法,以实现母船回收系统中无人艇的自主化回收。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种基于图像的无人艇回收方法及系统,其利用无人艇与母船各自的图像信息获得航向角、偏向角和距离信息,并基于上述信息实现无人艇的航行控制,可实现无人艇的方便、准确、快捷、智能回收。
为实现上述目的,按照本发明的一个方面,提出了一种基于图像的无人艇回收方法,其包括如下步骤:
S1测量待回收的无人艇与母船的距离;
S2判断测量的距离是否在预设的距离范围内,若是,则点亮无人艇和母船上的指示物,并利用无人艇上的视觉成像单元实时拍摄母船上指示物的图像,利用母船上的视觉成像单元实时拍摄无人艇上指示物的图像;若否,则使无人艇向母船靠近,当测量的距离到达预设的距离范围内时点亮无人艇和母船上的指示物,并利用无人艇上的视觉成像单元实时拍摄母船上指示物的图像,利用母船上的视觉成像单元实时拍摄无人艇上指示物的图像;
S3处理实时拍摄的母船上指示物的图像得到无人艇的实时航向角信息,处理实时拍摄的无人艇上指示物的图像得到无人艇与母船之间的实时距离信息和实时偏向角信息;
S4利用所述实时航向角信息、实时偏向角信息和实时距离信息实时控制所述无人艇的航向及航速,使其运动至指定位置,以此实现无人艇的回收。
作为进一步优选的,步骤S1中,采用GPS测量母船与无人艇的距离。
作为进一步优选的,所述实时航向角信息采用如下公式计算:
Figure BDA0002413240340000031
其中,θ为航向角信息,Δx为母船上指示物的图像像素偏移值,f为无人艇视觉成像单元的焦距,L为母船与无人艇之间的实时距离信息。
作为进一步优选的,所述实时偏向角信息采用如下公式计算:
Figure BDA0002413240340000032
其中,α为偏向角信息,Δx′为无人艇上指示物的图像像素偏移值,f′为母船上视觉成像单元的焦距,L为母船与无人艇之间的实时距离信息。
作为进一步优选的,步骤S3中,所述实时距离信息采用如下公式计算:
Figure BDA0002413240340000033
其中,L为母船与无人艇之间的实时距离信息,H为无人艇上两指示物之间的距离,h为无人艇上两指示物的像素距离,f′为母船上视觉成像单元的焦距。
作为进一步优选的,步骤S4中,利用实时航向角信息、实时偏向角信息和实时距离信息实时控制无人艇的航向及航速,具体为:根据实时航向角信息和实时偏向角信息实时调整无人艇的航向,使得最终获得的实时航向角和实时偏向角为零,进而保证无人艇的准确回收,并且当实时距离信息到达预设范围内时,使无人艇减速,避免其与母船碰撞。
按照本发明的另一方面,提供了一种基于图像的无人艇回收系统,其包括:
测量判断单元,用于测量待回收的无人艇与母船的距离,并判断该距离是否在预设的距离范围内;
视觉成像单元,用于当无人艇与母船上的指示物点亮时实时拍摄母船上指示物的图像和无人艇上指示物的图像;
图像处理单元,用于处理实时拍摄的母船上指示物的图像得到无人艇的实时航向角信息,处理实时拍摄的无人艇上指示物的图像得到无人艇与母船之间的实时距离信息和实时偏向角信息;
导航控制单元,用于当无人艇与母船的距离在预设的距离范围内时,点亮无人艇与母船上的指示物,当无人艇与母船的距离不在预设的距离范围内时使无人艇向母船靠近,直至无人艇与母船的距离在预设的距离范围内时点亮无人艇与母船上的指示物;还用于利用实时航向角信息、实时偏向角信息和实时距离信息实时控制无人艇的航向及航速,使其运动至指定位置,以此实现无人艇的回收。
作为进一步优选的,所述指示物为环形灯,其中无人艇上设置有两个,母船上设置有一个。
作为进一步优选的,所述视觉成像单元优选为工业相机,其设置有两台,分别安装在无人艇和母船上。
作为进一步优选的,所述无人艇上的工业相机和指示物通过云台安装在无人艇上。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,主要具备以下的技术优点:
本发明利用母船与无人艇上各自的视觉成像单元获取对方的指示物图像,进而获得实时航向角、实时偏向角和实时距离三个重要信息,以修正无人艇向母船运动的方向和速度,保证无人艇的智能、自动化、高效、稳定、安全的布放回收。
本发明将航向角、偏向角和距离三个参数信息综合运用到无人艇回收的航行控制中,可准确控制无人艇的航行姿态,调整航行方向和速度,使其准确、安全的回收至母船的艉滑道中,避免剧烈碰撞母船,并且可以确定无人艇相对于母船的位置,便于进行无人艇的集群控制。
本发明在远距离时采用常规的测量技术(GPS)进行距离测量,当距离到达预设的距离范围内时则利用视觉图像信息实现距离的计算,即并不是始终使用GPS进行无人艇方位的测定,在近距离时用精度较高的视觉测量手段接管,以此可有效克服近距离GPS测量技术误差率较高的缺陷。
本发明还对实时航向角、实时偏向角和实时距离三个重要信息的具体求解过程进行了研究与说明,以便于利用获取的实时图像快速准确的获得所需的参数信息,进而指导无人艇的航行。
本发明通过将相机和指示物安装在云台上,可有效保证在无人艇由于海上的风浪发生倾斜时,固定在无人艇上的相机和指示物不会一同发生倾斜,保证测量的准确性和有效性。
附图说明
图1是本发明实施例提供的一种基于图像的无人艇回收方法的流程图;
图2是本发明实施例提供的一种基于图像的无人艇回收系统的示意图;
图3是本发明的待求解参数在平面上的简化模型图;
图4是本发明的无人艇上的指示物的安装示意图;
图5是本发明的母船上的指示物的安装示意图;
图6是本发明的图像处理流程图;
图7是本发明的角度测量原理图。
在所有附图中,相同的附图标记用来表示相同的元件或结构,其中:
1-无人艇,2-母船,3-艉滑道,4-指示物,5-视觉成像单元,6-图像处理单元,7-导航控制单元,8-云台,9-底座。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,本发明实施例提供了一种基于图像的无人艇回收方法,其包括如下步骤:
S1距离测量
测量待回收的无人艇1与母船2的距离,本发明中采用现有常规技术譬如采用GPS测量技术测量母船与无人艇的距离。实际回收中,无人艇需要回收时可发送信号给母船,此时开始测量无人艇与母船之间的距离。
S2图像拍摄
判断测量的距离L是否在预设的距离范围内(即L≤预设的距离范围),若是,则点亮无人艇1和母船2上的指示物4,并利用无人艇上的视觉成像单元5实时拍摄母船上指示物的图像,利用母船上的视觉成像单元5实时拍摄无人艇上指示物的图像,即利用无人艇和母船上的视觉成像单元实时拍摄彼此的指示物的图像;若否,则使无人艇向母船靠近,直至测量的距离在预设的距离范围内时点亮无人艇1和母船2上的指示物4,并利用无人艇上的视觉成像单元5实时拍摄母船上指示物的图像,利用母船上的视觉成像单元5实时拍摄无人艇上指示物的图像。其中,预设的距离范围可根据实际需要设定,譬如为100m。
S3图像处理
处理实时拍摄的母船上指示物的图像得到无人艇的实时航向角信息,处理实时拍摄的无人艇上指示物的图像得到无人艇与母船之间的实时距离信息和实时偏向角信息。
S4航行控制
利用实时航向角信息、实时偏向角信息和实时距离信息实时控制所述无人艇的航向及航速,使其运动至指定位置,以此实现无人艇的回收,即根据得到的信息校正无人艇航道,促进无人艇一步步逼近母船,进而进入艉滑道回收。具体的,根据实时航向角信息和实时偏向角信息实时调整无人艇的航向,使得最终获得的实时航向角和实时偏向角为零,进而保证无人艇的准确回收,并且当实时距离信息到达预设范围内时,使无人艇减速,避免其与母船碰撞,即通过控制航向角使无人艇头部始终指向艉滑道回收口,通过偏向角信息控制无人艇运动的方向,防止脱出回收视野,通过距离信息控制无人艇运动的速度,距离较远时速度较快,预设范围内减速进入冲坡阶段,防止对母船造成震荡。其中,预设范围可根据实际需要设定,譬如为20m,无人艇运动的具体速度也可根据实际需要设定,在此不赘述。
下面对本发明中三个重要的测量参数(即航向角信息、偏向角信息和实时距离信息)的具体求解过程进行说明。
如图3所示,α为偏向角,θ为航向角,L为母船与无人艇之间的距离,图中A为回收轨迹。其中,偏向角α为无人艇船头与母船艉滑道中点的连线与母船的中线之间的夹角,该角度主要用于无人艇与母船相距较远时维持无人艇始终行进在母船中线上,防止随着无人艇与母船距离缩进,无人艇脱出母船视觉成像单元的视野,其中艉滑道设置在母船上,用于回收无人艇,其为现有常规结构,在此不赘述。航向角θ指的是无人艇船头与母船艉滑道中点的连线与无人艇的中线之间的夹角,这个角度可以用来判断无人艇是否朝向母船运动,在回收过程中,该值一般要求保持在0度左右,这样回收的距离始终保持最短,且在进入艉滑道时,不会给艉滑道较大的侧向力,可以保护母船与无人艇之间不发生磕碰,提高了整个回收系统的安全性以及回收设备的寿命。距离L指的是母船与无人艇之间的直线距离(具体指无人艇船头与母船艉滑道中心点的直线距离),其目的是根据距离判断无人艇行进的模式,在距离较远时加速向母船靠近,距离较近时减速冲坡。通过上述三个参数,即可估计无人艇与母船在海面上的相对位置,在同时操作多条无人艇时可以方便的实行无人艇的集群控制,也可快速找到无人艇的位置进行相应的部署。
具体的,如图6所示,对于实时航向角信息的求解,其处理的是无人艇上视觉成像单元拍摄的母船指示物的灰度图像,当采集图像后,对其进行灰度化、高斯滤波、提取轮廓等基本处理(这些处理过程是图像处理领域的常规技术,在此不赘述),以识别出母船上的指示物轮廓。由于海面反光、倒影以及船上其他灯光的影响,可能会提取多个轮廓,此时可以进行校正以删除多余轮廓,留下准确轮廓,使轮廓数量与母船上指示物的数量匹配(本发明中为一个),其中轮廓校正技术同样为本领域的常规技术,在此不赘述。之后计算指示物的圆心坐标在图像中的像素位置,将该像素位置与获得图像的中心值的x坐标相减可以得到母船与无人艇之间偏移的像素值,通过相机内参可以将该偏移值转化为空间中的实际值,将该值与焦距作比较,即可得出航向角的三角函数值,最后解三角函数就得到了航向角,之后通过串口发送该信息至母船,母船获得无人艇航向角信息。
具体求解过程如下:
首先,根据轮廓信息中储存的所有点信息,计算点坐标的均值:
Figure BDA0002413240340000081
Figure BDA0002413240340000082
其中,N为轮廓信息中点信息的数量,x和y分别为轮廓中心点的横坐标和纵坐标;
然后,获取图像的像素信息得到图像的宽度W,由于成像原理可以很明显的看出,当
Figure BDA0002413240340000083
时,航向角为零,也就是说无人艇的船头刚好指向母船,对于
Figure BDA0002413240340000084
的情况,记
Figure BDA0002413240340000085
其中cell_size是无人艇上视觉成像单元的一个像素的大小,Δx为母船指示物的图像像素偏移值;
接着,根据角度测量原理解三角形可得:
θ=β-α
Figure BDA0002413240340000086
其中,θ为无人艇视觉成像单元(无人艇)转过的角度(即航向角);α和β为角度测量参量角,无具体含义,具体可参见图7(图中A为指示物在图像中的位置);L为母船与无人艇之间的实时距离;f为无人艇视觉成像单元的焦距;
从而推出:
Figure BDA0002413240340000091
得到:
Figure BDA0002413240340000092
其中:
Figure BDA0002413240340000093
最后得到:
Figure BDA0002413240340000094
此处,θ即为航向角。
进一步的,对于实时偏向角信息的求解,其处理的是母船上视觉成像单元拍摄的无人艇指示物的灰度图像,当采集图像后,对图像进行灰度化、高斯滤波、提取轮廓等基本操作,以识别到无人艇上的指示物。由于海面反光、倒影以及船上其他灯光的影响,可能会提取多个轮廓,此时可以进行校正以删除多余轮廓,留下准确轮廓,使轮廓数量与无人艇上指示物的数量匹配(本发明中为两个),其中轮廓校正技术同样为本领域的常规技术,在此不赘述。之后的处理过程与无人艇航向角处理过程相似,将两像素位置取中心后与获得图像的中心值的x坐标相减可以得到无人艇与母船之间偏移的像素值,通过相机内参可以将该偏移值转化为空间中的实际值,将该值与焦距作比较,即可得出偏向角的三角函数值,最后解三角函数就得到了偏向角。值得注意的是,航向角和偏向角虽然处理过程相似,但实际上由于处理的图像不同是两个不同的值。
具体求解过程如下:
对于校正后的轮廓,根据轮廓信息中储存的所有点信息,计算点坐标的均值:
Figure BDA0002413240340000101
Figure BDA0002413240340000102
其中,x1和y1为第一轮廓中心点的横坐标和纵坐标,x2和y2为第二轮廓中心点的横坐标和纵坐标,N1为第一轮廓信息中点信息的数量,N2为第二轮廓信息中点信息的数量;
然后,将两者坐标相加取平均值得到两个指示物中点的横坐标x′,
Figure BDA0002413240340000103
再获取图像的像素信息得到图像的宽度W′(两幅图的图像宽度一样),然后和求解航向角一样,求解
Figure BDA0002413240340000104
其中,Δx′为无人艇上指示物的图像像素偏移值,cell_size′是母船上视觉成像单元的一个像素的大小,x′为无人艇上两个指示物中点的横坐标;
最后,套用求解航向角相同的公式,得到偏向角信息α:
Figure BDA0002413240340000105
此处,α即为偏向角,L为母船与无人艇之间的实时距离,f′为母船上视觉成像单元的焦距。值得注意的是,虽然航向角和偏向角计算方式相同,但是由于为得到两个角处理的图像不同,所以两个角实际上是不同的。
更进一步的,对于母船与无人艇的距离而言,已知现实中两指示物之间的距离和相机焦距,从图像中获取两指示物像素坐标的像素距离,通过内参转化为实际距离,根据成像的等比例关系就可以求得母船和无人艇之间的实时距离信息,其具体求解过程为:
Figure BDA0002413240340000106
其中,L为待测的母船与无人艇之间的实时距离,H为无人艇上两指示物之间的距离(为已知参数),h为无人艇上两指示物的像素距离,f′为母船上视觉成像单元的焦距。
其中,无人艇上两指示物的像素距离h采用如下公式计算:
Figure BDA0002413240340000111
其中,x1和y1为第一轮廓中心点的横坐标和纵坐标,x2和y2为第二轮廓中心点的横坐标和纵坐标,cell_size′是母船上视觉成像单元的一个像素的大小。
如图2所示,本发明还提供了一种基于图像的无人艇回收系统,其包括:
测量判断单元,设置在母船上,用于测量待回收的无人艇与母船的距离,并判断该距离是否在预设的距离范围内;
视觉成像单元5,用于当无人艇与母船上的指示物点亮时实时拍摄母船上指示物的图像和无人艇上指示物的图像;
图像处理单元6,用于处理实时拍摄的母船上指示物的图像得到无人艇的实时航向角信息,处理实时拍摄的无人艇上指示物的图像得到无人艇与母船之间的实时距离信息和实时偏向角信息;
导航控制单元7,设置在母船上,用于当无人艇与母船的距离在预设的距离范围内时,点亮无人艇与母船上的指示物,当无人艇与母船的距离不在预设的距离范围内时使无人艇向母船靠近,直至无人艇与母船的距离在预设的距离范围内时点亮无人艇与母船上的指示物;还用于利用实时航向角信息、实时偏向角信息和实时距离信息实时控制无人艇的航向及航速,使其运动至指定位置,以此实现无人艇的回收。
具体的,视觉成像单元设置有两套,分别设置在无人艇和母船上,视觉成像单元优选为工业相机,处理速度约为33帧每秒。即工业相机设置有两台,分别安装在无人艇和母船上,根据两者处理得到数据以及目的的不同,采用不同焦距的镜头。其中,母船上的工业相机具体安装在母船的艉滑道上。为了减少海面反光对于图像的干扰,工业相机上安装有相应指示物颜色波长范围的滤光片。
进一步的,图像处理单元设置有两套,分别设置在无人艇和母船上,分别用于处理无人艇和母船上各自的视觉成像单元拍摄的图像。两套图像处理单元得到的数据及目的不同,但两者都是将图像信息转化为目标参数。
具体的,无人艇与母船之间可实现通讯连接,例如通过串口通讯,便于将无人艇上图像处理单元处理获得的参数信息传输至母船上的导航控制单元中,并可将参数信息显示在导航控制单元的操作界面上。
进一步的,无人艇上的工业相机通过云台8安装在无人艇上,云台为本领域的现有常规结构,根据需要直接购买即可,在此不赘述。具体的,如图4所示,无人艇上的工业相机先通过底座9安装在云台8上,再通过云台8安装在无人艇上。如图5所示,母船上的工业相机通过底座9安装在母船上,具体通过底座安装在艉滑道上。
为了满足系统测量要求,云台的自由度为两轴,其中俯仰轴(如图4中的A处所示,可绕y轴转动)、旋转轴(如图4中的B处所示,可绕x轴转动)可自由转动用来校正船只在风浪中翻转造成的测量误差,偏移轴(绕z轴转动的轴)固定,为了满足无人艇对航向角以及母船对偏向角测量的目的。
更进一步的,如图4和图5所示,指示物为环形灯(例如圆环状白色灯圈),其中无人艇上设置有两个,母船上设置有一个。无人艇上设置的两个环形灯安装在云台上,两个环形灯相对位置固定。通过将工业相机和环形灯安装在云台上,可减小测量结果的误差,保证无人艇由于海上的风浪发生倾斜时,相机和指示物不会一同发生倾斜,影响数据的测量,并通过调整工业相机的角度,使目标物体保持在图像中。具体的,无人艇上设置的两个环形灯上下对称布置,分别安装在工业相机的顶部和底座的底部,母船上的环形灯安装在工业相机的顶部。
本发明的回收系统在无人艇和母船上各设置一个工业相机,无人艇上加装两个指示物,母船上加装一个指示物,通过处理无人艇上采集到的图像结合成像原理可以得到无人艇的航向角,通过处理母船(艉滑道)采集到的图像结合单目测距及成像原理,可以得到无人艇距离母船的距离和无人艇相对于母船的偏向角,以此即完成了对无人艇回收姿态的测量,通过测量的回收姿态信息控制无人艇的航向及航速即可实现无人艇的准确、快速、可靠的回收。
当回收过程开始时,无人艇和母船上的视觉成像单元同时开始获取图像,并通过图像处理单元计算出开始回收这一时刻的距离、偏向角和航向角信息。在该回收系统中,距离、偏向角和航向角三个参数之间相互独立,不会对彼此造成影响,导致误差的叠加。首先起调节作用的是偏向角信息,此时偏向角α不等于零,根据α的正负,母船上的导航控制单元向无人艇下达向左或是向右运动的命令,减小α的绝对值,最终使得α等于0,并在后续过程中根据不断的测量时刻调整α使实时测量的α在零附近稳定,这就表示无人艇在母船中心线上航行;当α达到0之后,航向角信息开始起作用,根据航向角θ的正负,母船上的导航控制单元向无人艇下达左转或是右转的命令,最终使得θ为0,这就表示无人艇的船头始终指向母船上的艉滑道;最后随着距离不断的减小,母船上的导航控制单元向无人艇下达减速的命令,防止无人艇速度过大与母船发生剧烈碰撞,无人艇最终以一个较小的速度(具体速度可根据实际需要确定)冲上艉滑道,艉滑道上锁紧装置锁紧,无人艇被固定,整个回收过程完成。
本发明在现有回收措施的基础上提供了一种快速回收无人艇的方法,满足无人艇无人、自主化的要求,其以相应的成像单元为核心,通过图像分析得到无人艇在回收过程中的重要参数,推断出无人艇相对于回收母船的距离以及角度,从而修正无人艇向母船运动的方向和速度。本发明可以解决一直以来困扰研究者的无人艇布放回收问题,实现智能、高效以及稳定的无人艇布放回收,采用本发明时无需重新设计无人艇和母船,只用在母船和无人艇上搭载相机和相应指示物,然后安装相应的图像处理程序即可,是一种易于实现和普及的无人艇回收方法,可以应用在几乎所有在役的无人艇(以及与无人艇相似的船只)上,实线无人艇的高效任务,智能控制,让无人艇不仅在执行任务中无人操作,而且还可以自动布放,自动回收。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像的无人艇回收方法,其特征在于,包括如下步骤:
S1测量待回收的无人艇与母船的距离;
S2判断测量的距离是否在预设的距离范围内,若是,则点亮无人艇和母船上的指示物,并利用无人艇上的视觉成像单元实时拍摄母船上指示物的图像,利用母船上的视觉成像单元实时拍摄无人艇上指示物的图像;若否,则使无人艇向母船靠近,当测量的距离到达预设的距离范围内时点亮无人艇和母船上的指示物,并利用无人艇上的视觉成像单元实时拍摄母船上指示物的图像,利用母船上的视觉成像单元实时拍摄无人艇上指示物的图像;
S3处理实时拍摄的母船上指示物的图像得到无人艇的实时航向角信息,处理实时拍摄的无人艇上指示物的图像得到无人艇与母船之间的实时距离信息和实时偏向角信息;
S4利用所述实时航向角信息、实时偏向角信息和实时距离信息实时控制所述无人艇的航向及航速,使其运动至指定位置,以此实现无人艇的回收。
2.如权利要求1所述的基于图像的无人艇回收方法,其特征在于,步骤S1中,采用GPS测量母船与无人艇的距离。
3.如权利要求1所述的基于图像的无人艇回收方法,其特征在于,步骤S3中,所述实时航向角信息采用如下公式计算:
Figure FDA0002413240330000011
其中,θ为航向角信息,Δx为母船上指示物的图像像素偏移值,f为无人艇视觉成像单元的焦距,L为母船与无人艇之间的实时距离信息。
4.如权利要求1所述的基于图像的无人艇回收方法,其特征在于,步骤S3中,所述实时偏向角信息采用如下公式计算:
Figure FDA0002413240330000021
其中,α为偏向角信息,Δx′为无人艇上指示物的图像像素偏移值,f′为母船上视觉成像单元的焦距,L为母船与无人艇之间的实时距离信息。
5.如权利要求1-4任一项所述的基于图像的无人艇回收方法,其特征在于,步骤S3中,所述实时距离信息采用如下公式计算:
Figure FDA0002413240330000022
其中,L为母船与无人艇之间的实时距离信息,H为无人艇上两指示物之间的距离,h为无人艇上两指示物的像素距离,f′为母船上视觉成像单元的焦距。
6.如权利要求1-5任一项所述的基于图像的无人艇回收方法,其特征在于,步骤S4中,利用实时航向角信息、实时偏向角信息和实时距离信息实时控制无人艇的航向及航速,具体为:根据实时航向角信息和实时偏向角信息实时调整无人艇的航向,使得最终获得的实时航向角和实时偏向角为零,进而保证无人艇的准确回收,并且当实时距离信息到达预设范围内时,使无人艇减速,避免其与母船碰撞。
7.一种基于图像的无人艇回收系统,其特征在于,包括:
测量判断单元,用于测量待回收的无人艇与母船的距离,并判断该距离是否在预设的距离范围内;
视觉成像单元,用于当无人艇与母船上的指示物点亮时实时拍摄母船上指示物的图像和无人艇上指示物的图像;
图像处理单元,用于处理实时拍摄的母船上指示物的图像得到无人艇的实时航向角信息,处理实时拍摄的无人艇上指示物的图像得到无人艇与母船之间的实时距离信息和实时偏向角信息;
导航控制单元,用于当无人艇与母船的距离在预设的距离范围内时,点亮无人艇与母船上的指示物,当无人艇与母船的距离不在预设的距离范围内时使无人艇向母船靠近,直至无人艇与母船的距离在预设的距离范围内时点亮无人艇与母船上的指示物;还用于利用实时航向角信息、实时偏向角信息和实时距离信息实时控制无人艇的航向及航速,使其运动至指定位置,以此实现无人艇的回收。
8.如权利要求7所述的基于图像的无人艇回收系统,其特征在于,所述指示物为环形灯,其中无人艇上设置有两个,母船上设置有一个。
9.如权利要求7-8任一项所述的基于图像的无人艇回收系统,其特征在于,所述视觉成像单元优选为工业相机,其设置有两台,分别安装在无人艇和母船上。
10.如权利要求7-9任一项所述的基于图像的无人艇回收系统,其特征在于,所述无人艇上的工业相机和指示物通过云台安装在无人艇上。
CN202010183086.1A 2020-03-16 2020-03-16 一种基于图像的无人艇回收方法及系统 Active CN111366959B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010183086.1A CN111366959B (zh) 2020-03-16 2020-03-16 一种基于图像的无人艇回收方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010183086.1A CN111366959B (zh) 2020-03-16 2020-03-16 一种基于图像的无人艇回收方法及系统

Publications (2)

Publication Number Publication Date
CN111366959A true CN111366959A (zh) 2020-07-03
CN111366959B CN111366959B (zh) 2021-11-30

Family

ID=71210619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010183086.1A Active CN111366959B (zh) 2020-03-16 2020-03-16 一种基于图像的无人艇回收方法及系统

Country Status (1)

Country Link
CN (1) CN111366959B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113341964A (zh) * 2021-05-31 2021-09-03 中国舰船研究设计中心 一种无人艇艉滑道自动回收的引导管控方法及系统
CN113341965A (zh) * 2021-05-31 2021-09-03 中国舰船研究设计中心 无人艇艉滑道自动引导回收的目标跟踪识别装置
CN114935777A (zh) * 2022-04-26 2022-08-23 中国舰船研究设计中心 一种基于差分技术的无人艇回收引导方法
CN118089744A (zh) * 2024-04-25 2024-05-28 山东科技大学 一种基于组合导航定位技术的无人船回收方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107436600A (zh) * 2017-01-24 2017-12-05 安徽科微智能科技有限公司 一种无人船多航点返航控制系统
CN107830860A (zh) * 2017-10-31 2018-03-23 江苏科技大学 一种无人艇起吊回收视觉引导方法
CN110120073A (zh) * 2019-03-28 2019-08-13 上海大学 一种基于灯标视觉信号引导无人艇回收的方法
CN110162042A (zh) * 2019-05-14 2019-08-23 中国舰船研究设计中心 一种用于无人艇回收的视觉引导装置及方法
CN110427030A (zh) * 2019-08-08 2019-11-08 上海大学 一种基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法
CN110580044A (zh) * 2019-08-30 2019-12-17 天津大学 基于智能感知的无人船全自动航行异构系统
CN110610134A (zh) * 2019-08-13 2019-12-24 上海大学 一种无人艇自主对接方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107436600A (zh) * 2017-01-24 2017-12-05 安徽科微智能科技有限公司 一种无人船多航点返航控制系统
CN107830860A (zh) * 2017-10-31 2018-03-23 江苏科技大学 一种无人艇起吊回收视觉引导方法
CN110120073A (zh) * 2019-03-28 2019-08-13 上海大学 一种基于灯标视觉信号引导无人艇回收的方法
CN110162042A (zh) * 2019-05-14 2019-08-23 中国舰船研究设计中心 一种用于无人艇回收的视觉引导装置及方法
CN110427030A (zh) * 2019-08-08 2019-11-08 上海大学 一种基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法
CN110610134A (zh) * 2019-08-13 2019-12-24 上海大学 一种无人艇自主对接方法
CN110580044A (zh) * 2019-08-30 2019-12-17 天津大学 基于智能感知的无人船全自动航行异构系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113341964A (zh) * 2021-05-31 2021-09-03 中国舰船研究设计中心 一种无人艇艉滑道自动回收的引导管控方法及系统
CN113341965A (zh) * 2021-05-31 2021-09-03 中国舰船研究设计中心 无人艇艉滑道自动引导回收的目标跟踪识别装置
CN114935777A (zh) * 2022-04-26 2022-08-23 中国舰船研究设计中心 一种基于差分技术的无人艇回收引导方法
CN114935777B (zh) * 2022-04-26 2024-07-26 中国舰船研究设计中心 一种基于差分技术的无人艇回收引导方法
CN118089744A (zh) * 2024-04-25 2024-05-28 山东科技大学 一种基于组合导航定位技术的无人船回收方法

Also Published As

Publication number Publication date
CN111366959B (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN111366959B (zh) 一种基于图像的无人艇回收方法及系统
CN109285389B (zh) 一种无人船自动靠泊系统及方法
US11505292B2 (en) Perimeter ranging sensor systems and methods
EP3639104B1 (en) Perimeter ranging sensor systems and methods
KR101933714B1 (ko) 착함을 위한 특히 해군 선박 플랫폼 접근 시의 무인 항공기 유도 시스템
CN111846170B (zh) 一种大范围巡航自主水下机器人结构
CN109367738B (zh) 一种水下自主作业机器人及其作业方法
WO2016037444A1 (zh) 一种帆船自主控制方法、装置及帆船
CN108061577B (zh) 一种有压输水隧洞智能探测装置
CN111596687A (zh) 一种垂直起降无人机移动平台降落引导装置及其引导方法
CN107065898A (zh) 一种水下无人船航行控制方法及系统
CN110658826A (zh) 一种基于视觉伺服的欠驱动无人水面艇自主靠泊方法
CN112558642B (zh) 一种适用于异构多无人系统的海空联合围捕方法
CN110456793B (zh) 一种无人艇自主停泊方法、装置及无人艇
CN113253718B (zh) 一种无人艇自主靠泊航迹规划方法及控制方法
CN111239746A (zh) 一种堤坝裂缝检测水下机器人及使用方法
CN108362296A (zh) Auv与接驳站水下对接的末端视觉导引方法
Kondo et al. Passive acoustic and optical guidance for underwater vehicles
CN109916400B (zh) 一种基于梯度下降算法与vo法相结合的无人艇避障方法
CN107085399B (zh) 主帆自动控制装置及最大船速跟踪和自学习控制方法
CN110683000B (zh) 一种自主限位和收放海洋航行器的系统
CN110733607A (zh) 群体式无人艇布放与回收系统
WO2024109589A1 (en) Fully automated towing, alignment and hangar system and method for offshore operation helicopter
CN114527780B (zh) 一种舰载直升机智能着舰引导控制方法及系统
CN115727222A (zh) 一种海底管道内壁自主巡检水下航行器及其工作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant