CN114283327B - 一种基于水下搜寻机器人的目标搜寻与抵近方法 - Google Patents
一种基于水下搜寻机器人的目标搜寻与抵近方法 Download PDFInfo
- Publication number
- CN114283327B CN114283327B CN202111599857.6A CN202111599857A CN114283327B CN 114283327 B CN114283327 B CN 114283327B CN 202111599857 A CN202111599857 A CN 202111599857A CN 114283327 B CN114283327 B CN 114283327B
- Authority
- CN
- China
- Prior art keywords
- target
- underwater
- searching
- robot
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 26
- 238000003384 imaging method Methods 0.000 claims abstract description 24
- 230000003287 optical effect Effects 0.000 claims abstract description 19
- 238000013459 approach Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000002360 preparation method Methods 0.000 claims description 5
- 230000001960 triggered effect Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012634 optical imaging Methods 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 6
- 241000282414 Homo sapiens Species 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 238000013473 artificial intelligence Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 7
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Abstract
本发明公开了一种基于水下搜寻机器人的目标搜寻与抵近方法。该方法如下:一:水下搜寻机器人到达指定区域。二:水下搜寻机器人开始采集视频和声呐成像数据,形成声学与光学图像。三:利用卷积神经网络或人工的方式对声学与光学图像的识别处理;四:水下搜寻机器人根据目标对象的位置进行航向控制,沿着抵近目标对象。根据目标对象为自动识别还是半自动识别,选择抵近方式。本发明具有全自动目标识别和半自动人工框选目标识别的功能。全自动目标识别利用AI代替人工进行目标识别,一方面解放了人力,另一方面也避免了由于人眼疏忽造成目标遗漏,此外在水下视野清晰、水流平缓的环境种全自动目标识别效果更佳。
Description
技术领域
本发明属于水下目标搜寻技术领域,具体涉及一种基于水下机器人的目标自动识别和特殊情况下人工辅助半自动的目标搜寻与抵近方法。
背景技术
随着水下测控技术的不断发展,水下机器人技术日益成熟,逐渐可以替代人类完成一些危险系数大的工作。水下机器人可以广泛应用于海洋环境探测、水下施工作业、水下侦察和搜救等方面,其中水下目标的搜寻功能是其中较为常用和重要的一个方面,应用最为广泛。
目前主流的水下机器人的目标搜寻与抵近方法主要有以下几种:基于路线规划的水下机器人目标搜寻方法、基于人工控制的水下机器人目标搜寻方法。基于路线规划的水下机器人目标搜寻方法主要通过声呐和摄像头采集环境的信息,然后通过特定的算法来规划路线,进而寻找目标。基于人工控制的水下机器人目标搜寻方法主要是通过人工控制水下机器人抵达目标,然后再控制水下搜寻机器人上的机械手等机械设备进行目标搜救。基于路线规划的水下机器人目标搜寻方法采用规划算法可以得到最优的路线,但是因为搜救的水域是未知的,其需要先勘测周围的环境再进行规划,消耗的时间过长,不能用于实际的。基于人工控制的水下机器人目标搜寻方法在抵达目标的过程中,需要人为介入控制水下机器人的运动方向,其效率低下。
在实际应用中,如果能够充分发挥水下机器人自主能力,可以极大地提高水下目标搜寻的效率。随着人工智能(AI)技术的不断发展,利用AI自动识别技术可以满足大部分应用场景中的功能需求。在特殊情况下,再辅以人工干预方式,就可以较好地完成水下目标搜寻任务。
发明内容
本发明的目的在于提供了一种兼有AI全自动识别功能和半自动人工框选目标搜索功能的水下机器人系统以及目标搜寻与抵近方法。水下搜寻机器人系统主要包括目标成像采集模块、AI自动识别模块、核心处理模块、驱动执行模块和上位机操控模块,目标成像采集模块与AI自动识别模块信号连接,AI自动识别模块与核心处理模块信号连接,核心处理模块与驱动执行模块信号连接,水下目标搜救机器人与上位机操控模块通过无线图传模块无线连接。AI自动识别模块通过AI自动识别方法获取目标的位置信息,核心处理模块采用目标追踪控制方法实现对目标的抵近追踪,上位机操控模块通过半自动人工框选目标搜索方法传输目标的位置信息。
该基于水下搜寻机器人的目标搜寻与抵近方法,具体步骤如下:
步骤一:水下搜寻机器人到达指定区域。
步骤二:水下搜寻机器人开始采集视频和声呐成像数据,形成声学与光学图像。
步骤三:利用卷积神经网络对声学与光学图像的识别处理,判断声学与光学图像是否出现目标对象;若卷积神经网络无法识别,则进入步骤四;若卷积神经网络识别到目标对象,则进入步骤六。
步骤四:利用卷积神经网络重新对声学与光学图像的识别处理,若卷积神经网络依旧无法识别,则多次重复利用卷积神经网络对声学与光学图像的识别处理,若识别时间达到预设时长,进入步骤五。若卷积神经网络成功识别,且识别到目标对象,则进入步骤六。
步骤五:向上位机发送人工框选目标请求;上位机在人工操作下框选出目标对象的尺寸,以及在图像中的坐标并发送给水下搜寻机器人后,进入步骤六。
步骤六:水下搜寻机器人根据目标对象的位置进行航向控制,沿着抵近目标对象。根据目标对象为自动识别还是半自动识别,选择抵近方式。
若目标对象的位置(X,Y)和尺寸(W,H)在步骤三和四中被自动识别到,则抵近方式如下:
(1)水下搜寻机器人根据通过卷积神经网络的识别结果确定目标对象在当前成像面的坐标(X,Y)和目标对象的尺寸(W,H)。
(2)计算目标对象所在的中轴线坐标G_m如式(1)所示;
对比目标对象所在的中轴线坐标G_m与体图像的中轴线坐标G_x,若G_m<G_x,则水下搜寻机器人向左转向;若G_m>G_x,则水下搜寻机器人向右转向;直到G_m与G_x相等时,水下搜寻机器人保持直线前进。
(3)水下搜寻机器人上的接近传感器检测到目标对象时,水下搜寻机器人停止前进,对目标对象进行施救。
若目标对象的位置(X,Y)和尺寸(W,H)在步骤五中被人工框选确定,则抵近方式如下:
(1)计算目标对象所在的中轴线坐标计算目标偏差角度θo如式(2)所示。
θo=k×(G_m-G_x) (2)
其中,k为预先设定的参数。
获取水下搜寻机器人的历史航向角Yoc如式(3)所示。
Yoc=HR[tc×N] (3)
其中,HR[tc×N]为当前时刻前的第tc×N次记录的历史航向角。tc为上传至上位机的图像的获取时刻到当前时刻的时间差;N为历史航向角的记录频率。
根据θo和Yoc计算图像获取时刻朝向目标的预定航向角Ys如式(4)所示。
Ys=Yoc+θo (4)
计算当前偏差角度θ如式(5)所示;
θ=Ys-Yc (5)
其中,Yc为当前航向角;
若θ<0°,则向左转|θ|后前进;若θ>0°,则水下搜寻机器人右转|θ|后前进。
(3)水下搜寻机器人判断装备自身的接近传感器开关信号,如果接近传感器开关信号触发,则认为已经到抵达目标。
(4)水下搜寻机器人上的接近传感器检测到目标对象时,水下搜寻机器人停止前进,对目标对象进行施救。
作为优选,步骤一中,根据作业任务的GPS位置信息,核心处理模块发送指令控制驱动执行模块,使得水下搜寻机器人到达指定的位置区域。
作为优选,步骤三和四中,卷积神经网络无法识别表示卷积神经声呐识别到的对象置信度低于预设值。
作为优选,视频和声纳成像数据通过目标成像采集模块获取。目标成像采集模块包括水下摄像机和侧扫声呐;水下摄像机用于获取目标的光学图像,侧扫声呐用于获取目标的声学图像。水下摄像机和侧扫声呐的数据输出均为网络接口。
作为优选,步骤三所述的卷积神经网络搭载在目标AI识别与处理模块中。目标AI识别与处理模块的工作包括三个步骤,分别为训练数据准备、训练结果编码和目标自动识别。
3-1.训练数据准备:采集目标对象的多帧图像,然后记录每一帧图像的目标位置数据,从而获得目标数据矩阵。目标训练数据集的格式为F=(f,X,Y,W,H);其中,f为目标标志位,(X,Y)为目标左上角坐标值,(W,H)为目标的宽度与高度。
3-2.训练结果编码:将目标训练数据集输入到卷积神经网络中进行训练,得到目标对应的权重文件,将训练好的权重、配置以及标签文件移植在AI自动识别模块的图像处理器中。
3-3.目标自动识别:启动AI自动识别方法线程,加载上述步骤生成的参数权重文件,然后将声学和光学图像输入AI自动识别方法,将目标识别结果传输给核心处理模块。目标识别结果的输出格式为(X,Y,W,H,C),其中(X,Y)表示目标的左上角的坐标,(W,H)表示检测目标的宽度和高度,C代表目标识别的置信系数。
作为优选,步骤五中,人工操作下框选出目标对象的尺寸,以及在图像中的坐标的过程如下:
5-1.上位机将水下目标搜索机器人通过无线图传模块发送的图像进行压缩处理。
5-2.工作人员框选择图像中的目标物,将框选的图像输入给CSRT跟踪方法进行持续处理。CSRT跟踪方法根据当前选中框的目标物,自动去寻找下一帧图像中的目标物。
5-3.由CSRT跟踪方法计算出目标所在图像的位置和长宽尺寸。
5-4.通过无线图传模块,上位机将目标对象的位置和尺寸数据发送给水下目标搜索机器人。
作为优选,所述的上位机通过无线图传模块与水下目标搜索机器人无线连接,通过界面显示水下目标搜索机器的工作状态:航向角、经纬度、深度、速度和电压电流,同时能够获取水下目标搜索机器的声学和光学成像数据。
本发明的有益效果为:
本发明提供了一种基于水下搜寻机器人的目标搜寻与抵近方法,具有全自动目标识别和半自动人工框选目标识别的功能。全自动目标识别利用AI代替人工进行目标识别,一方面解放了人力,另一方面也避免了由于人眼疏忽造成目标遗漏,此外在水下视野清晰、水流平缓的环境种全自动目标识别效果更佳。半自动人工框选目标识别在AI识别基础上加以人工辅助,使得搜救的效率和成功的机率得到了极大的保障,此外半自动人工框选目标识别在水下视野浑浊、水流湍急等恶劣的环境下也能精准识别和抵近目标实施搜救。全自动目标识别和半自动人工框选目标识别相辅相成,可以应用于各种复杂的水下环境。
附图说明
图1为本发明的硬件框架结构图;
图2是本发明的整体工作流程图;
图3为AI自动识别方法流程图;
图4为目标追踪控制方法流程图;
图5为目标追踪控制方法模型图;
图6为半自动人工框选目标搜索模块流程图;
图7为自动目标识别结果示意图;
图8为实际水下目标搜索与抵近控制的应用案例。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明提供的一种基于水下搜寻机器人的目标搜寻与抵近方法采用搜寻机器人的硬件结构示意图,其中包括目标成像采集模块、AI自动识别模块、核心处理模块、驱动执行模块和上位机操控模块。其中,所述目标成像采集模块1包括前视声呐1-1、摄像头1-2。其中前视声呐1-1位于机器人的前舱的外侧下部,摄像头1-2位于机器人的中舱的外侧上部。所述AI自动识别模块2为Jetson NX2处理器构成的电路系统。所述核心处理模块3为J1900工控板,包括GPS模块3-1、惯性导航模块3-2。所述驱动执行模块4为STM32处理器板,其位于机器人的内仓。所述的上位机操控模块5,用于岸基与水下搜寻机器人进行无线数据传输。
图2为本发明的整体工作流程图,具体步骤如下:
步骤一:到达指定区域。根据作业任务的GPS位置信息和深度信息,核心处理模块发送指令控制驱动执行模块,使得水下搜寻机器人到达指定的位置区域。目标搜寻是基于指定区域的搜寻,因此需要水下搜寻机器人抵达目标所在的大概位置。水下搜寻机器人的定位采用GPS定位+惯导辅助的方式,在水面和水下运动时都能够达到指定的区域。判断水下搜寻机器人的定位装置数据输出与预设的位置,如果小于一定值时(本实例中为小于5m),则认为已经到达指定位置时,转入步骤二。
步骤二:目标成像采集模块启动相机视频和声呐成像数据的接收线程,用以采集水下目标搜寻机器人视野内的声学与光学图像。其中摄像头的型号为海康3T46FWDV2-I5,参数为8mm焦距,可视角为39°,侧扫声呐的型号为SS90。目标成像采集模块主要通过图像处理器(本实例中为Jeston NX2)上的程序接收水下相机的视频流和声呐扫描数据流。
步骤三:AI自动识别模块启动AI自动识别方法线程,Jeston NX处理器上运行卷积神经网络程序,采用在线方式对水下声学与光学图像进行目标识别。如果卷积神经网络输出目标信息,表明AI自动识别方法已经搜寻到目标信息,则转入步骤六开始自动抵近;否则,退出AI自动识别方法线程,转入步骤四,重新对目标进行搜寻。
步骤四:重新启动AI自动识别模块的AI自动识别方法线程,如果卷积神经网络输出目标信息,说明已经找到成像目标,则转入步骤六开始自动抵近;否则进行计时累加,重复步骤四。同时水下搜寻机器人也要判断累加的计时时间值,如果计时时间已经大于一定值时(本实例中时间最大值为10s),说明这种应用场景下水下搜寻机器人已经无法找到目标,则跳出步骤四,进入步骤五的上位机半自动人工框选目标的模式。
步骤五:上位机启动半自动人工框选目标搜索方法,通过上位机计算出人工框选的目标在成像区域的位置数据,通过无线图传模块远程将目标位置信息远程发送给水下搜寻机器人,当水下搜寻机器人接收到信息后,转入步骤六。
步骤六:核心处理模块启动目标追踪控制方法线程,发送控制指令给驱动执行模块实现水下搜寻机器人的航向控制,按照具体计算方法可以使得水下搜寻机器人沿着目标航向逐渐抵近目标,判断水下搜寻机器人的接近传感器开关(本实例中的传感器为2g021水下光电开关,水下最大测距为5m),如果接近传感器开关触发,则认为已经到抵达目标,则结束全体步骤。
图3是AI自动识别方法的工作流程,具体步骤如下:(1)训练数据准备:在使用之前先采集被检测目标的多帧图像,然后人工提取每一帧图像的目标位置数据,从而获得目标数据矩阵。目标训练数据集的格式为F=(f,X,Y,W,H),其中f为目标标志位,(X,Y)为目标左上角坐标值,(W,H)为目标的宽度与高度。(2)训练结果编码:将目标训练数据集输入到卷积神经网络训练模块,得到目标对应的权重文件,将训练好的权重、配置以及标签文件移植在AI自动识别模块的Jetson NX2处理器中。(3)目标自动识别:启动AI自动识别方法线程,加载上述步骤生成的参数权重文件,然后将声学和光学成像数据输入AI自动识别方法,将目标识别结果传输给核心处理模块。目标识别结果的输出格式为(X,Y,W,H,C),其中(X,Y)表示目标的左上角的坐标,(W,H)表示检测目标的宽度和高度,C代表目标识别的置信系数。
图4为目标自动抵近控制模块方法流程,首先判断为AI自动识别的方法还是半自动人工框选目标搜索方法,分别列举如下:
(1).若为AI自动识别的方法则获取目标在当前成像面的位置(X,Y)以及目标大小(W,H)。
然后通过式(1)获取目标所在的中轴线,判断目标相对于水下搜寻机器人所处的位置。
如果水下搜寻机器人的中轴线坐标G_m小于整体图像的中轴线坐标G_x时,水下搜寻机器人向左转动一定角度前进;如果G_m>G_x,水下搜寻机器人向右转动一定角度前进(整个图像的坐标原点在左上方)。本实例中图片的尺寸为2560×1440,即上述的G_x=1280。若测得G_m=900,水下搜寻机器人往右转。当G_m=1280时停止转动,此时水下搜寻机器人朝着目标移动。在移动过程中反复上述步骤直到传感器触发(小于2m时触发),则判定为达到目标。
(2).若为半自动人工框选目标搜索方法则获取目标在当前成像面的位置(X,Y)以及目标尺寸(W,H),用式(1)(2)将目标中轴线和成像面中轴线的偏差转化为水下搜寻机器人与目标之间的偏差角度θo。本实例中的k为0.04。当测得某一时刻G_x=900时,θo=15.2°。
θo=k×(G_m-G_x) (2)
由于光学和声学图像从水下搜寻机器人通过无线图传模块传回上位机操控模块以及在上位机操控模块上框选目标需要时间,为了保证在公式(2)得到的偏差角度θo与水下搜寻机器人的航向角Yoc对应,本发明采用公式(3)进行航向角回溯,得到正确的水下搜寻机器人的航向角Yoc。本实例中测得Yoc=30°
Yoc=HR[tc×N] (3)
其中,HR[t_c×N]为当前时刻前的第t_c×N次记录的历史航向角,其中HR[0]是最新的航向角。t_c为上传至上位机的图像的获取时刻到当前时刻的时间差,N为历史航向角的记录频率。即每秒记录水下搜寻机器人的航向角的次数,本实例中N=5。根据θo和Yoc以及式(4)得到目标的航向角Ys。本实例中Ys=45.2°
Ys=Yoc+θo (4)
最后根据式(5)目标航向角Ys与当前的水下搜寻机器人的航向角Yc得到偏差角度θ,判断水下搜寻机器人的转动方向。若θ<0°,说明目标在水下搜寻机器人的左边,则往左转;若θ>0°,说明目标在水下搜寻机器人的右边,则往右转;本实例中Yc=28°,由式(5)得到的偏差角度为17.2°,水下搜寻机器人应该往左偏。
θ=Ys-Yc (5)
水下搜寻机器人判断装备自身的接近传感器开关信号,如果接近传感器开关信号触发,则认为已经到抵达目标。
如图5所示为目标自动抵近计算模型图,其中(X,Y,W,H)的信息由水下搜寻机器人AI自动识别的方法或者上位机操控模块通过无线模块发送给水下搜寻机器人的方法获得。θ为偏差角度。Δx为目标中轴线到当前成像面中轴线的像素点。Yc为当前的水下搜寻机器人的航向角,Ys目标的航向角。
如图6所示,半自动人工框选目标搜索模块的主要步骤如下:(1)上位机操控模块将水下目标搜索机器人通过无线图传模块发送的图像进行压缩处理,若图片太大处理速度将会降低,进行影响实时性。(2)用户用鼠标框选择图像中的目标物,将框选的图像输入给CSRT跟踪方法进行持续处理。CSRT跟踪方法可根据当前选中框的目标物,自动去寻找下一帧图像中的目标物。(3)由CSRT跟踪方法计算出目标所在图像的位置和长宽值,因此上位机操控模块获取到实时的目标信息(包括目标位置和长宽数据)。(4)步骤6.4通过无线图传模块,上位机操控模块将目标位置和长宽数据发送给水下目标搜索机器人,然后转入步骤五。
图7为自动目标识别结果示意图,其中铁杆是模拟目标,白框为水下搜救机器人自动框选的目标。图8为实际水下目标搜索与抵近控制的应用案例,如图8左边所示,水下搜救机器人到达目标附近,进行中线判断,通过无线图传模块使得视频在上位机操控模块进行实时显示。图8右边是模拟被救援目标视角。
本说明书中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (6)
1.一种基于水下搜寻机器人的目标搜寻与抵近方法,其特征在于:步骤一:水下搜寻机器人到达指定区域;
步骤二:水下搜寻机器人开始采集视频和声呐成像数据,形成声学与光学图像;
步骤三:利用卷积神经网络对声学与光学图像的识别处理,判断声学与光学图像是否出现目标对象;若卷积神经网络无法识别,则进入步骤四;若卷积神经网络识别到目标对象,则进入步骤六;卷积神经网络搭载在目标AI识别与处理模块中;目标AI识别与处理模块的工作包括三个步骤,分别为训练数据准备、训练结果编码和目标自动识别;
3-1.训练数据准备:采集目标对象的多帧图像,然后记录每一帧图像的目标位置数据,从而获得目标数据矩阵;目标训练数据集的格式为F=(f,X,Y,W,H);其中,f为目标标志位,(X,Y)为目标左上角坐标值,(W,H)为目标的宽度与高度;
3-2.训练结果编码:将目标训练数据集输入到卷积神经网络中进行训练,得到目标对应的权重文件,将训练好的权重、配置以及标签文件移植在AI自动识别模块的图像处理器中;
3-3.目标自动识别:启动AI自动识别方法线程,加载上述步骤生成的权重文件,然后将声学和光学图像输入AI自动识别方法,将目标识别结果传输给核心处理模块;目标识别结果的输出格式为(X,Y,W,H,C),其中(X,Y)表示目标的左上角的坐标,(W,H)表示检测目标的宽度和高度,C代表目标识别的置信系数;
步骤四:利用卷积神经网络重新对声学与光学图像的识别处理,若卷积神经网络依旧无法识别,则多次重复利用卷积神经网络对声学与光学图像的识别处理,若识别时间达到预设时长,进入步骤五;若卷积神经网络成功识别,且识别到目标对象,则进入步骤六;
步骤五:向上位机发送人工框选目标请求;上位机在人工操作下框选出目标对象的尺寸,以及在图像中的坐标并发送给水下搜寻机器人后,进入步骤六;
步骤六:水下搜寻机器人根据目标对象的位置进行航向控制,沿着抵近目标对象;根据目标对象为自动识别还是半自动识别,选择抵近方式;
若目标对象的位置(X,Y)和尺寸(W,H)在步骤三和四中被自动识别到,则抵近方式如下:
(1)水下搜寻机器人根据通过卷积神经网络的识别结果确定目标对象在当前成像面的坐标(X,Y)和目标对象的尺寸(W,H);
(2)计算目标对象所在的中轴线坐标G_m如式(1)所示;
对比目标对象所在的中轴线坐标G_m与体图像的中轴线坐标G_x,若G_m<G_x,则水下搜寻机器人向左转向;若G_m>G_x,则水下搜寻机器人向右转向;直到G_m与G_x相等时,水下搜寻机器人保持直线前进;
(3)水下搜寻机器人上的接近传感器检测到目标对象时,水下搜寻机器人停止前进,对目标对象进行施救;
若目标对象的位置(X,Y)和尺寸(W,H)在步骤五中被人工框选确定,则抵近方式如下:
(1)计算目标对象所在的中轴线坐标计算目标偏差角度θo如式(2)所示;
θo=k×(G_m-G_x) (2)
其中,k为预先设定的参数;
获取水下搜寻机器人的历史航向角Yoc如式(3)所示;
Yoc=HR[tc×N] (3)
其中,HR[tc×N]为当前时刻前的第tc×N次记录的历史航向角;tc为上传至上位机的图像的获取时刻到当前时刻的时间差;N为历史航向角的记录频率;
根据θo和Yoc计算图像获取时刻朝向目标的预定航向角Ys如式(4)所示;
Ys=Yoc+θo (4)
计算当前偏差角度θ如式(5)所示;
θ=Ys-Yc (5)
其中,Yc为当前航向角;
若θ<0°,则向左转|θ|后前进;若θ>0°,则水下搜寻机器人右转|θ|后前进;
(3)水下搜寻机器人判断装备自身的接近传感器开关信号,如果接近传感器开关信号触发,则认为已经到抵达目标;
(4)水下搜寻机器人上的接近传感器检测到目标对象时,水下搜寻机器人停止前进,对目标对象进行施救。
2.根据权利要求1所述的一种基于水下搜寻机器人的目标搜寻与抵近方法,其特征在于:步骤一中,根据作业任务的GPS位置信息,核心处理模块发送指令控制驱动执行模块,使得水下搜寻机器人到达指定的位置区域。
3.根据权利要求1所述的一种基于水下搜寻机器人的目标搜寻与抵近方法,其特征在于:步骤三和四中,卷积神经网络无法识别表示卷积神经声呐识别到的对象置信度低于预设值。
4.根据权利要求1所述的一种基于水下搜寻机器人的目标搜寻与抵近方法,其特征在于:视频和声纳成像数据通过目标成像采集模块获取;目标成像采集模块包括水下摄像机和侧扫声呐;水下摄像机用于获取目标的光学图像,侧扫声呐用于获取目标的声学图像;水下摄像机和侧扫声呐的数据输出均为网络接口。
5.根据权利要求1所述的一种基于水下搜寻机器人的目标搜寻与抵近方法,其特征在于:步骤五中,人工操作下框选出目标对象的尺寸,以及在图像中的坐标的过程如下:
5-1.上位机将水下目标搜索机器人通过无线图传模块发送的图像进行压缩处理;
5-2.工作人员框选择图像中的目标物,将框选的图像输入给CSRT跟踪方法进行持续处理;CSRT跟踪方法根据当前选中框的目标物,自动去寻找下一帧图像中的目标物;
5-3.由CSRT跟踪方法计算出目标所在图像的位置和长宽尺寸;
5-4.通过无线图传模块,上位机将目标对象的位置和尺寸数据发送给水下目标搜索机器人。
6.根据权利要求1所述的一种基于水下搜寻机器人的目标搜寻与抵近方法,其特征在于:所述的上位机通过无线图传模块与水下目标搜索机器人无线连接,通过界面显示水下目标搜索机器的工作状态:航向角、经纬度、深度、速度和电压电流,同时能够获取水下目标搜索机器的声学和光学成像数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111599857.6A CN114283327B (zh) | 2021-12-24 | 2021-12-24 | 一种基于水下搜寻机器人的目标搜寻与抵近方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111599857.6A CN114283327B (zh) | 2021-12-24 | 2021-12-24 | 一种基于水下搜寻机器人的目标搜寻与抵近方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114283327A CN114283327A (zh) | 2022-04-05 |
CN114283327B true CN114283327B (zh) | 2024-04-05 |
Family
ID=80875059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111599857.6A Active CN114283327B (zh) | 2021-12-24 | 2021-12-24 | 一种基于水下搜寻机器人的目标搜寻与抵近方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114283327B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111413698A (zh) * | 2020-03-04 | 2020-07-14 | 武汉理工大学 | 一种面向水下机器人搜寻探摸的目标定位方法 |
CN111638523A (zh) * | 2020-05-08 | 2020-09-08 | 哈尔滨工程大学 | 一种水下机器人对失踪者的搜寻和定位系统及方法 |
WO2020251096A1 (ko) * | 2019-06-14 | 2020-12-17 | 엘지전자 주식회사 | 인공 지능 로봇 및 그의 동작 방법 |
-
2021
- 2021-12-24 CN CN202111599857.6A patent/CN114283327B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020251096A1 (ko) * | 2019-06-14 | 2020-12-17 | 엘지전자 주식회사 | 인공 지능 로봇 및 그의 동작 방법 |
CN111413698A (zh) * | 2020-03-04 | 2020-07-14 | 武汉理工大学 | 一种面向水下机器人搜寻探摸的目标定位方法 |
CN111638523A (zh) * | 2020-05-08 | 2020-09-08 | 哈尔滨工程大学 | 一种水下机器人对失踪者的搜寻和定位系统及方法 |
Non-Patent Citations (1)
Title |
---|
模块化小型水下作业机器人设计及试验;胡测;张皓;孙海涛;;水雷战与舰船防护;20170515(第02期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114283327A (zh) | 2022-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109255813B (zh) | 一种面向人机协作的手持物体位姿实时检测方法 | |
CN111055281B (zh) | 一种基于ros的自主移动抓取系统与方法 | |
CA2950791C (en) | Binocular visual navigation system and method based on power robot | |
CN111856448A (zh) | 基于双目视觉和雷达的海上障碍物识别方法及系统 | |
CN112634318B (zh) | 一种水下维修机器人的遥操作系统和方法 | |
CN107234625B (zh) | 视觉伺服定位和抓取的方法 | |
CN107315410B (zh) | 一种机器人自动排障方法 | |
CN110580044A (zh) | 基于智能感知的无人船全自动航行异构系统 | |
CN109737981B (zh) | 基于多传感器的无人车目标搜索装置及方法 | |
CN106970618A (zh) | 一种无人船控制方法及系统 | |
CN109623815B (zh) | 一种用于无人打捞船的波浪补偿双机器人系统及方法 | |
CN111123911A (zh) | 一种腿足式智能星表探测机器人感知系统及其工作方法 | |
CN112734765A (zh) | 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质 | |
Momeni-k et al. | Height estimation from a single camera view | |
CN111348161B (zh) | 一种应用于海洋牧场的资源环境监测系统及其操作方法 | |
CN109831655B (zh) | 基于多摄像头数据融合的船舶环境感知与预警系统 | |
CN114782626A (zh) | 基于激光与视觉融合的变电站场景建图及定位优化方法 | |
CN114283327B (zh) | 一种基于水下搜寻机器人的目标搜寻与抵近方法 | |
CN113701750A (zh) | 一种井下多传感器的融合定位系统 | |
CN111696155A (zh) | 一种基于单目视觉的多传感融合机器人定位方法 | |
CN116852352A (zh) | 一种基于ArUco码的电力二次设备机械臂定位方法 | |
CN111002349A (zh) | 一种机器人跟随转向方法及采用该方法的机器人系统 | |
CN113721615B (zh) | 一种基于机器视觉的海航路径规划方法及系统 | |
CN114756033A (zh) | 一种用于井下透水的机器人沿管线巡检方法 | |
CN111798496B (zh) | 一种视觉锁定方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |