CN215205321U - 一种基于视觉的水下机器人航向控制系统 - Google Patents

一种基于视觉的水下机器人航向控制系统 Download PDF

Info

Publication number
CN215205321U
CN215205321U CN202023278205.6U CN202023278205U CN215205321U CN 215205321 U CN215205321 U CN 215205321U CN 202023278205 U CN202023278205 U CN 202023278205U CN 215205321 U CN215205321 U CN 215205321U
Authority
CN
China
Prior art keywords
robot
camera
led lamp
floating
vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn - After Issue
Application number
CN202023278205.6U
Other languages
English (en)
Inventor
管朝鹏
吴东栋
陈姝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Research Institute of Nuclear Power Operation
Original Assignee
Research Institute of Nuclear Power Operation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Research Institute of Nuclear Power Operation filed Critical Research Institute of Nuclear Power Operation
Priority to CN202023278205.6U priority Critical patent/CN215205321U/zh
Application granted granted Critical
Publication of CN215205321U publication Critical patent/CN215205321U/zh
Withdrawn - After Issue legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明属于水下机器人技术领域,具体涉及一种基于视觉的水下机器人航向控制系统。该控制系统包括浮游机器人、控制计算机和摄像头;所述控制计算机通过控制网线与机器人驱动控制模块连接,机器人驱动控制模块通过机器人脐带缆与浮游机器人连接;所述控制计算机通过视频网线与摄像机驱动解码模块连接,摄像机驱动解码模块过视频传输电缆与摄像头连接。有益效果:通过摄像机拍摄搭载于机器人本体的LED灯,可实现机器人航向信息的快速提取,机器人的定航向控制,从而实现浮游机器人的高效水下作业。

Description

一种基于视觉的水下机器人航向控制系统
技术领域
本实用新型属于水下机器人技术领域,具体涉及一种基于视觉的水下机器人航向控制系统。
背景技术
水下机器人是一种可在水下移动、具有视觉和感知系统、通过遥控或自主操作方式,并可使用机械手或其他工具代替或辅助人去完成水下作业任务的装置。目前,水下机器人主要应用于海洋领域,如海洋科考、石油开采、救捞作业、海底管道和电缆检查、海上养殖等,在江河湖泊、城市水道治理等领域也有一定的应用。在海洋领域,由于作业环境开阔、下潜深度大、海浪汹涌等特点,水下机器人一般设计的体积和重量都很大,价格也比较昂贵,遇到设备故障,维修成本很大。核电站的水下作业环境与海洋作业有很大的不同,例如核电站水下环境一般空间都比较狭小、各种构件复杂、磁场受到屏蔽,因此常规水下机器人不能直接适用于在核电站水环境下开展作业。
在核电环境中,机器人运行的平稳性是机器人能否实现精确高效水下作业的关键,航向控制和深度控制是机器人在水平和垂直方向平稳运动运动的基础。通常在海洋或者江河湖泊中作业时,水下机器人采用的定航向方式是基于GPS 信号或者基于惯导推算航迹方式。基于GPS信号方式定位误差较大,在海洋大范围运动的环境中尚可使用,同时核电环境通常都有较厚的金属或者构筑物阻挡,GPS信号被屏蔽或者衰减,通过GPS信号在核电水下环境中实现定位基本不可能。基于惯导推算航迹利用加速度和角加速度积分实现,随着时间推移误差会越来越大,并且在中间过程无法通过外部信息加以修正,因此也难以实现在核电水下环境的应用。因此,需要提供一种水下浮游机器人航向控制系统。
实用新型内容
本实用新型的目的在于针对浮游式水下机器人在核电站反应堆压力容器、乏燃料水池等水下环境作业时,由于钢结构对地磁场的屏蔽和削弱作用以及传感器自身特性缺陷,导致机器人的姿态传感器无法提供准确的航向信息的技术问题,提供了一种基于视觉的水下浮游机器人航向控制系统。
本实用新型的技术方案如下:
一种基于视觉的水下浮游机器人航向控制系统,包括浮游机器人、控制计算机和视频采集装置;所述浮游机器人的顶部安装有光源,所述视频采集装置安装在水池边沿;所述控制计算机通过控制网线与机器人驱动控制模块连接,机器人驱动控制模块通过机器人脐带缆与浮游机器人连接;所述控制计算机通过视频网线与摄像机驱动解码模块连接,摄像机驱动解码模块过视频传输电缆与视频采集装置连接。
进一步地,所述浮游机器人水平方向和垂直方向分别布置有一个或多个推进器,用于实现浮游机器人的水平平移、浮沉、转艏、定深和定航向功能。
进一步地,所述浮游机器人整体通过配重块调整至悬浮或正浮力状态。
进一步地,所述控制计算机发送的浮游机器人控制指令通过机器人驱动控制模块转化为各个推进器的动力输出;视频采集装置采集的视频图像经过摄像机驱动解码模块解码输出至控制计算机。
进一步地,所述光源包含第一LED灯和第二LED灯,分别采用独立的水密结构封装,内部均具有驱动电路能够控制LED灯的点亮和熄灭频率。
进一步地,所述视频采集装置为摄像机。
进一步地,所述第一LED灯的点亮和熄灭时间间隔小于摄像机的曝光时间周期,所述第二LED灯的点亮和熄灭时间间隔大于摄像机的曝光时间周期。
进一步地,所述第一LED灯和第二LED灯的安装间距L>2*Lmax,Lmax为单个LED灯在相邻图像帧中最大的运动位移,其计算公式为Lmax=VRmax*Tc,式中VRmax为浮游机器人在水下的最大运动速度、Tc为摄像机拍摄每帧图像的时间间隔。
本实用新型还提供了一种采用上述基于视觉的水下浮游机器人航向控制系统的航向控制方法,依次包括如下步骤:
S1.控制计算机的航向控制器接收到浮游机器人的目标航向信息;
S2.摄像机拍照发送给摄像机驱动解码模块,然后提取照片中的LED灯对应的光斑位置信息;
S3.控制计算机通过摄像机的安装位置信息、S2获得的光斑位置信息和水池的结构尺寸信息,计算出浮游机器人的当前航向;
S4.航向控制器将S1中接收到的目标航向信息和S3计算得到的当前航向信息进行比较,判断当前航向是否等于目标航向;
S5.浮游机器人根据S4的判断结果选择执行过程:当目标航向等于当前航向,浮游机器人完成本次航向定位控制;当目标航向不等于当前航向,航向控制器计算浮游机器人推进器的水平推力分配,并控制推进器运动实现浮游机器人航向调整;
S6.重复执行步骤2~步骤5,直至浮游机器人完成航向定位控制。
进一步地,所述S2.摄像机拍照,提取照片中的光斑位置信息通过以下步骤实现:
S2.1位于水池上方的摄像机拍摄浮游机器人及其搭载的第一LED灯和第二 LED灯的视频图像;
S2.2摄像机拍摄的视频图像通过视频传输缆传输至摄像机驱动解码模块,摄像机驱动解码模块通过内置的光斑识别和提取算法,提取视频图像中光斑的位置信息;
假设在当前图像帧摄像机拍摄到的第一LED灯和第二LED灯的光斑经过转换在二维坐标中的位置为P1(x1、y1)和P2(x2、y2),在下一帧图像中第一LED 灯和第二LED灯的位置变为P3(x3、y3)和P4(x4、y4),分别计算P3、P4到 P1、P2的距离。
Figure DEST_PATH_GDA0003309263520000041
Figure DEST_PATH_GDA0003309263520000042
Figure DEST_PATH_GDA0003309263520000043
Figure DEST_PATH_GDA0003309263520000044
因此LP1P3和LP1P4中,距离小于Lmax对应的点即为P1点在相邻图像帧中的位置,同理LP2P3和LP2P4中,距离小于Lmax对应的点即为P2点在相邻图像帧中的位置;
S2.3摄像机驱动解码模块将S2.2.获得的光斑位置信息通过视频网线发送至控制计算机。
本实用新型的有益效果在于:
本实用新型通过摄像机拍摄搭载于机器人本体的LED灯,可实现机器人航向信息的快速提取,以实现机器人的定航向控制,从而实现浮游机器人的高效水下作业。本实用新型可实现在核电特殊环境中对水下浮游机器人的精确航向定位控制,提高水下机器人的运动控制性能,大幅提升水下作业效率。
附图说明
图1为本实用新型的基于视觉的水下浮游机器人航向控制系统的结构示意图;
图2为本实用新型的基于视觉的水下浮游机器人航向控制系统中LED灯光斑检测原理图;
图3为本实用新型的基于视觉的水下浮游机器人航向控制系统的航向控制原理图;
图4为本实用新型的基于视觉的水下浮游机器人航向控制方法流程示意图。
图中:1-第一LED灯、2-第二LED灯、3-浮游机器人、4-摄像机、5-机器人驱动控制模块、6-摄像机驱动解码模块、7-控制计算机、8-水池、9-机器人脐带缆、10-视频传输电缆、11-控制网线、12-视频网线。
具体实施方式
下面结合附图及具体实施例对本实用新型作进一步详细说明。
本实施例提供了一种基于视觉的水下浮游机器人航向控制系统,其总体结构如图1所示,包含第一LED灯1和第二LED灯2、浮游机器人3、摄像机4、机器人驱动控制模块5、摄像机驱动解码模块6、控制计算机7、水池8、机器人脐带缆9、视频传输电缆10、控制网线11和视频网线12。所述浮游机器人3 的顶部安装有两个作为光源的LED灯,第一LED灯1和第二LED灯2以一定间距L固定安装于浮游机器人3顶部,所述摄像机4安装在水池8边沿的上边沿;所述控制计算机7通过控制网线11与机器人驱动控制模块5连接,机器人驱动控制模块5通过机器人脐带缆9与浮游机器人3连接;所述控制计算机7 通过视频网线12与摄像机驱动解码模块6连接,摄像机驱动解码模块6过视频传输电缆10与摄像机4连接。
所述第一LED灯1和第二LED灯2分别采用独立的水密结构封装,其内部驱动电路通过控制LED灯的点亮和熄灭频率以区分两个LED灯。
浮游机器人3水平方向布置4个推进器、垂直方向布置2个推进器,机器人整体通过配重块调整至微正浮力状态,在6个推进器组合作用下,机器人可实现水平平移、浮沉、转艏、定深和定航向功能。根据浮游机器人3实际应用水环境不同,比如自来水、海水、硼酸水等,密度会有所差异,一般浮游机器人3 每次下水前会通过增加配重块调整至基本处于悬浮状态,微正浮力即在悬浮状态下去掉部分配重块即可。
控制计算机7发送的浮游机器人控制指令通过机器人驱动模块5转化为各个推进器的动力输出,以实现浮游机器人的各种运动功能。摄像机4采集的视频图像经过相机驱动解码模块6解码输出至控制计算机7,采用光斑识别和提取算法,可得出两个LED灯在每帧图像中的位置,由每帧图像中LED灯光斑位置的不同即可推算出浮游机器人航向的变化。
航向定位的难点在于对LED灯位置信息的提取和识别。设置第一LED灯1 点亮和熄灭时间间隔小于摄像机4的曝光时间周期,第二LED灯2点亮和熄灭时间间隔大于摄像机4的曝光时间周期。因此在摄像机4的成像视场中,第一 LED灯1一直呈现为一个亮的光斑,通过设置合适的第二LED灯2的频闪周期,可以使得第二LED灯2的成像光斑周期性间隔出现。
如图2所示,假设在当前图像帧摄像机4拍摄到的LED灯光斑经过转换在二维坐标中的位置为P1(x1、y1)和P2(x2、y2),在下一帧图像中LED灯的位置变为P3(x3、y3)和P4(x4、y4),分别计算P3、P4到P1、P2的距离。
Figure DEST_PATH_GDA0003309263520000061
Figure DEST_PATH_GDA0003309263520000071
Figure DEST_PATH_GDA0003309263520000072
Figure DEST_PATH_GDA0003309263520000073
根据浮游机器人在水下的最大运动速度VRmax和摄像机拍摄每帧图像的时间间隔Tc可以计算出单个LED灯在相邻图像帧中最大的运动位移为 Lmax=VRmax*Tc。为保证第一LED灯1的光斑在相邻图像帧中不会出现在第二 LED灯2的成像区间内,在第一LED灯1和第二LED灯2的初始安装时要求两者之间距离L>2*Lmax。因此LP1P3和LP1P4中,距离小于Lmax对应的点即为P1点在相邻图像帧中的位置,同理LP2P3和LP2P4中,距离小于Lmax对应的点即为 P2点在相邻图像帧中的位置。
例如,经过对两帧图像中LED光斑位置的计算得出对应关系为P3对应P1, P4对应P2,则可计算出当前航向为:
Figure DEST_PATH_GDA0003309263520000074
根据图3所示的航向控制原理图,经图像识别获得的航向角θheading作为反馈输入至控制计算机7中的航向PID控制器,控制器通过比较目标输入航向角θin和当前航向角θheading来输出信号控制水平推进器的推力分配,以实现浮游机器人的航向控制,直到当前航向角θheading达到目标航向角θin为止。
本实施例还提供了一种采用上述基于视觉的水下浮游机器人航向控制系统的水下浮游机器人航向控制方法,其流程如图4所示,依次包括如下步骤:
S1.控制计算机7的航向控制器接收到浮游机器人3的目标航向信息,即目标输入航向角θin
S2.摄像机4拍照,提取照片中的光斑位置信息;
S2.1位于水池8上方的摄像机4拍摄浮游机器人3及其搭载的第一LED灯 1和第二LED灯2的视频图像;
S2.2摄像机4拍摄的视频图像通过视频传输缆10传输至摄像机驱动解码模块6,摄像机驱动解码模块6通过内置的光斑识别和提取算法,提取视频图像中光斑的位置信息;
假设在当前图像帧摄像机4拍摄到的第一LED灯1和第二LED灯2的光斑经过转换在二维坐标中的位置为P1(x1、y1)和P2(x2、y2),在下一帧图像中第一LED灯1和第二LED灯2的位置变为P3(x3、y3)和P4(x4、y4),分别计算P3、P4到P1、P2的距离。
Figure DEST_PATH_GDA0003309263520000081
Figure DEST_PATH_GDA0003309263520000082
Figure DEST_PATH_GDA0003309263520000083
Figure DEST_PATH_GDA0003309263520000084
因此LP1P3和LP1P4中,距离小于Lmax对应的点即为P1点在相邻图像帧中的位置,同理LP2P3和LP2P4中,距离小于Lmax对应的点即为P2点在相邻图像帧中的位置。
S2.3摄像机驱动解码模块6将S2.2.获得的光斑位置信息通过视频网线发送 10至控制计算机7;
S3.控制计算机7通过摄像机4的安装位置信息、S2.3获得的光斑位置信息和水池8的结构尺寸信息,计算出浮游机器人3的当前航向信息;
例如,经过对两帧图像中第一LED灯1和第二LED灯2de光斑位置的计算得出对应关系为P3对应P1,P4对应P2,则可计算出当前航向角为:
Figure DEST_PATH_GDA0003309263520000091
S4.航向控制器将S1中接收到的目标航向和S3计算得到的当前航向进行比较,判断当前航向是否等于目标航向;
根据图3所示的航向控制原理图,将S3经图像识别获得的航向角θheading作为反馈输入至控制计算机7中的航向PID控制器,航向PID控制器通过比较S1 接收到的目标输入航向角θin和当前航向角θheading来输出信号控制浮游机器人3 的水平推进器的推力分配,以实现浮游机器人3的航向控制,直到当前航向角θheading达到目标航向角θin为止。
S5.浮游机器人3根据判定结果选择执行过程;
S5.1.目标航向等于当前航向,浮游机器人3完成本次航向定位控制;
S5.2.目标航向不等于当前航向,航向控制器计算推进器的水平推力分配,并控制推进器运动实现浮游机器人3航向调整;
S6.重复执行步骤2~步骤5,直至浮游机器人3完成航向定位控制。
显然,本领域的技术人员可以对本实用新型进行各种改动和变型而不脱离本实用新型的精神和范围。倘若这些修改和变型属于本实用新型权利要求及其等同技术的范围之内,则本实用新型也意图包含这些改动和变型在内。

Claims (8)

1.一种基于视觉的水下机器人航向控制系统,其特征在于:包括浮游机器人(3)、控制计算机(7)和视频采集装置;所述浮游机器人(3)的顶部安装有光源,所述视频采集装置安装在水池(8)边沿;所述控制计算机(7)通过控制网线(11)与机器人驱动控制模块(5)连接,机器人驱动控制模块(5)通过机器人脐带缆(9)与浮游机器人(3)连接;所述控制计算机(7)通过视频网线(12)与摄像机驱动解码模块(6)连接,摄像机驱动解码模块(6)过视频传输电缆(10)与视频采集装置连接。
2.如权利要求1所述的一种基于视觉的水下机器人航向控制系统,其特征在于:所述浮游机器人(3)水平方向和垂直方向分别布置有一个或多个推进器,用于实现浮游机器人(3)的水平平移、浮沉、转艏、定深和定航向功能。
3.如权利要求2所述的一种基于视觉的水下机器人航向控制系统,其特征在于:所述浮游机器人(3)整体通过配重块调整至悬浮或正浮力状态。
4.如权利要求2所述的一种基于视觉的水下机器人航向控制系统,其特征在于:所述控制计算机(7)发送的浮游机器人控制指令通过机器人驱动控制模块(5)转化为各个推进器的动力输出;视频采集装置采集的视频图像经过摄像机驱动解码模块(6)解码输出至控制计算机(7)。
5.如权利要求1、2、3或4所述的一种基于视觉的水下机器人航向控制系统,其特征在于:所述光源包含第一LED灯(1)和第二LED灯(2),分别采用独立的水密结构封装,内部均具有驱动电路能够控制LED灯的点亮和熄灭频率。
6.如权利要求5所述的一种基于视觉的水下机器人航向控制系统,其特征在于:所述视频采集装置为摄像机(4)。
7.如权利要求6所述的一种基于视觉的水下机器人航向控制系统,其特征在于:所述第一LED灯(1)的点亮和熄灭时间间隔小于摄像机(4)的曝光时间周期,所述第二LED灯(2)的点亮和熄灭时间间隔大于摄像机(4)的曝光时间周期。
8.如权利要求7所述的一种基于视觉的水下机器人航向控制系统,其特征在于:所述第一LED灯(1)和第二LED灯(2)的安装间距L>2*Lmax,Lmax为单个LED灯在相邻图像帧中最大的运动位移,其计算公式为Lmax=VRmax*Tc,式中VRmax为浮游机器人(3)在水下的最大运动速度、Tc为摄像机拍摄每帧图像的时间间隔。
CN202023278205.6U 2020-12-30 2020-12-30 一种基于视觉的水下机器人航向控制系统 Withdrawn - After Issue CN215205321U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202023278205.6U CN215205321U (zh) 2020-12-30 2020-12-30 一种基于视觉的水下机器人航向控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202023278205.6U CN215205321U (zh) 2020-12-30 2020-12-30 一种基于视觉的水下机器人航向控制系统

Publications (1)

Publication Number Publication Date
CN215205321U true CN215205321U (zh) 2021-12-17

Family

ID=79436230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202023278205.6U Withdrawn - After Issue CN215205321U (zh) 2020-12-30 2020-12-30 一种基于视觉的水下机器人航向控制系统

Country Status (1)

Country Link
CN (1) CN215205321U (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112977764A (zh) * 2020-12-30 2021-06-18 核动力运行研究所 一种基于视觉的水下机器人航向控制系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112977764A (zh) * 2020-12-30 2021-06-18 核动力运行研究所 一种基于视觉的水下机器人航向控制系统及方法
CN112977764B (zh) * 2020-12-30 2024-09-10 核动力运行研究所 一种基于视觉的水下机器人航向控制系统及方法

Similar Documents

Publication Publication Date Title
Wang et al. Visual navigation and docking for a planar type AUV docking and charging system
US7496226B2 (en) Multi-camera inspection of underwater structures
Myint et al. Dual-eyes vision-based docking system for autonomous underwater vehicle: an approach and experiments
CN108438178B (zh) 一种用于深水面板坝维护检测的滑行式载人装置
CN109859202B (zh) 一种基于usv水面光学目标跟踪的深度学习检测方法
Li et al. Terminal underwater docking of an autonomous underwater vehicle using one camera and one light
CN215205321U (zh) 一种基于视觉的水下机器人航向控制系统
CN109625219A (zh) 有缆遥控水下机器人对故障海底电缆的巡检系统及方法
CN116255908B (zh) 面向水下机器人的海生物定位测量装置及方法
CN111452939A (zh) 一种用于引水隧洞检测的自主巡线水下直升机
WO2018186750A1 (en) Camera assisted control system for an underwater vehicle
CN104766312A (zh) 一种基于双目光视觉引导的智能水下机器人自主对接方法
CN113110514A (zh) 一种基于大数据的无人船航行避障系统及方法
CN213768912U (zh) 海上多功能智能打捞系统
CN112977764B (zh) 一种基于视觉的水下机器人航向控制系统及方法
CN211223801U (zh) 一种用于水下观测打捞救援的机器人装置
Pinjare et al. Underwater remotely operated vehicle for surveillance and marine study
Liang et al. Experiment of robofish aided underwater archaeology
Neto et al. Autonomous underwater vehicle to inspect hydroelectric dams
CN115761466A (zh) 一种基于深度学习的混合驱动水下小型监测系统
CN113031632B (zh) 一种适用于潜航器水面回收的控制系统及其控制方法
CN111650970B (zh) 一种对auv进行回收时的水下定位方法
Batlle et al. ROV-aided dam inspection: Practical results
Liu et al. Development of AUV mechatronics integration for underwater intervention tasks
Park et al. Multi-legged ROV Crabster and an acoustic camera for survey of underwater cultural heritages

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant
AV01 Patent right actively abandoned
AV01 Patent right actively abandoned
AV01 Patent right actively abandoned

Granted publication date: 20211217

Effective date of abandoning: 20240910

AV01 Patent right actively abandoned

Granted publication date: 20211217

Effective date of abandoning: 20240910