CN113561178A - 一种水下机器人智能抓取装置及其方法 - Google Patents
一种水下机器人智能抓取装置及其方法 Download PDFInfo
- Publication number
- CN113561178A CN113561178A CN202110869244.3A CN202110869244A CN113561178A CN 113561178 A CN113561178 A CN 113561178A CN 202110869244 A CN202110869244 A CN 202110869244A CN 113561178 A CN113561178 A CN 113561178A
- Authority
- CN
- China
- Prior art keywords
- target
- underwater robot
- manipulator
- grabbing
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000007667 floating Methods 0.000 claims abstract description 17
- 238000011084 recovery Methods 0.000 claims abstract description 17
- 239000000463 material Substances 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000013459 approach Methods 0.000 claims abstract description 4
- 238000003062 neural network model Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 230000001276 controlling effect Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 241000257465 Echinoidea Species 0.000 description 1
- 241000251511 Holothuroidea Species 0.000 description 1
- 241000237509 Patinopecten sp. Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000050 nutritive effect Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 235000020637 scallop Nutrition 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 235000014102 seafood Nutrition 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63C—LAUNCHING, HAULING-OUT, OR DRY-DOCKING OF VESSELS; LIFE-SAVING IN WATER; EQUIPMENT FOR DWELLING OR WORKING UNDER WATER; MEANS FOR SALVAGING OR SEARCHING FOR UNDERWATER OBJECTS
- B63C11/00—Equipment for dwelling or working underwater; Means for searching for underwater objects
- B63C11/52—Tools specially adapted for working underwater, not otherwise provided for
Abstract
本发明公开了一种水下机器人智能抓取装置及其方法，涉及机器人控制技术领域，所述抓取装置包括：水下机器人承载体、推进器模块、导流罩及浮材模块、控制舱、双目相机、电池舱、机械手旋转云台、机械手模块、深度传感器模块、回收篓。本发明方法首先对水下机器人的航迹进行规划；水下机器人部署后按照规划航迹巡航，通过图像处理判断是否为待抓取目标；确定待抓取目标后，水下机器人向目标趋近直至进入图像抓取域，双目相机测量目标像素深度信息并推算其实际位置；随后机器人下潜直至目标进入深度抓取域，控制单元控制机械臂对目标进行抓取与回收。本发明设备易部署易维护，使得单次下潜可抓取回收的目标数量更大，提高了抓取的成功率。
Description
技术领域
本发明涉及机器人控制技术领域，尤其是一种水下机器人智能抓取装置及其方法。
背景技术
海产品中例如海参、海胆、扇贝，具有极高的营养价值。近年来随着国民收入的持续增加，海产品的销量随之逐年递增。而海产品中多数浅海海珍品捕捞通常采用人工作业的方式，由于水下环境的未知和复杂，水下捕捞条件恶劣，长期的潜水作业会对潜水员身体造成极大的危害。
在现有技术中，公开号为CN108908334A，名称为一种基于深度学习的智能抓取系统及方法，公开了一种基于深度学习的智能抓取系统及方法。该方法通过训练深度学习的神经网络模型，结合图像处理技术，识别出目标物体在三维空间中的位置及种类，然后控制多自由度机械臂对目标进行抓取。该方法采用工控机求取机械臂的运动学逆解，在线进行机械臂轨迹规划，并通过六轴大型机械臂装配末端执行器进行抓取。然而水下机器人控制舱的体积与载重有限，上述多机械臂抓取装置并不能直接适用于水下机器人。
再有，公开号为CN112347900A，名称为基于距离估计的单目视觉水下目标自动抓取方法，公开了一种基于距离估计的单目视觉水下目标自动抓取方法。该方法对单目相机采集的图像进行深度估计得到深度估计图像，再通过强化学习网络融合传感器数据以及深度估计图像，得到相应的动作指令，引导机械臂进行抓取。该方法通过对单目相机采集的图像进行深度估计得出深度估计图像，然而单目相机无法仅凭单张图像获取物体真实的尺度，需要物体的平移才能定量判断物体的远近，且遇到水下光线不足的场景，会进一步降低抓取精度。考虑上述不足，如何设计一种轻便的抓取装置搭载在水下机器人上，并提高抓取精度的水下机器人智能抓取装置及其方法显得尤为重要。
发明内容
本发明需要解决的技术问题是提供一种水下机器人智能抓取装置及其方法，设备易部署易维护，使得单次下潜可抓取回收的目标数量更大，提高了抓取的成功率。
为解决上述技术问题，本发明所采用的技术方案是：
一种水下机器人智能抓取装置，包括水下机器人承载体、推进器模块、导流罩及浮材模块、控制舱、双目相机、电池舱、机械手旋转云台、机械手模块、深度传感器模块、回收篓；所述水下机器人承载体包括导流罩下方的承载体以及两个相互平行的承载体水下机器人承载体Ⅰ和水下机器人承载体Ⅱ；所述推进器模块包括两个对称设置的固定连接在控制舱的两侧的前进/后退推进器以及四个固定连接在导流罩下方的承载体上的前进/后退推进器；两个上浮/下潜推进器固定连接在控制舱的两侧，所述导流罩及浮材模块位于两个上浮/下潜推进器前后两侧；所述控制舱固定于水下机器人整体框架中央，控制舱内部设置有电调调速单元、控制单元和双目相机；所述电池舱位于控制舱的正下方，电池舱通过电池舱卡扣固定于水下机器人承载体上；所述机械手旋转云台包括舵机及舵盘，所述舵机固定在机器人底部框架中央，舵盘固定于舵机之上；所述机械手模块包括机械臂和固定连接在机械臂末端的机械手末端机械夹爪，机械臂通过卡扣固定于舵盘下方；所述深度传感器固定连接在控制舱的尾部，深度传感器与双目相机固定高度相同；所述回收篓位于机械手模块左侧。
一种水下机器人智能抓取方法，包括步骤1：结合待抓取目标的视觉图像和自身特征，对待抓取目标数据库中的目标图片进行图像预处理，并建立待抓取目标的数据集，使用数据集对神经网络模型进行离线训练，训练完成后将模型部署至水下机器人控制舱内的控制单元；
步骤2：对水下机器人进行航迹规划，将水下机器人部署至水下后，机器人按离线规划的航迹进行巡逻，并利用自身搭载的双目相机在线搜索，控制单元对采集的图像进行灰度化和特征增强，最后通过神经网络模型判断是否为待抓取目标，若是则水下机器人主动趋近目标，若不是则继续沿航迹搜索；
步骤3：当确定目标存在，水下机器人向待抓取目标趋近至待抓取目标进入图像中的抓取域，保持待抓取目标处于抓取域内，双目相机测定待抓取目标中心点像素深度值，通过计算推算出目标的实际位置；
步骤4：读取深度传感器当前示数，计算出水下机器人应下潜的深度，控制单元控制竖直方向推进器使水下机器人下潜，直至目标处于机械手深度抓取域，控制单元控制机械手闭合对目标抓取随后控制单元控制机械手旋转云台，云台带动机械手水平转动，将目标放入回收篓，云台再次转动使机械手回到中位，抓取完成；
步骤5：重复上述步骤1到步骤4，可持续对待抓取目标进行抓取，直至回收篓满载，水下机器人上浮至水面，清空回收篓。
本发明技术方案的进一步改进在于：在步骤2中，若判断目标为待抓取目标，则框选出机械手的矩形抓取框和待抓取目标的矩形目标框，将二者中心点像素坐标分别记为(X,Y)及(u,v)，X和Y为机械手抓取框中心点的像素横、纵坐标；u和v分别为目标框中心点的像素横、纵坐标。
本发明技术方案的进一步改进在于：在步骤3中，为了减小图像处理的计算量，对双目相机采集的三色RGB图像进行灰度化：
Grey(i,j)＝a·R(i,j)+b·G(i,j)+c·B(i,j)
其中(i,j)为所采集图像上横坐标为i纵坐标为j的像素点，Grey(i,j)为灰度化后该像素点的灰度，R(i,j)、G(i,j)、B(i,j)分别为像素点(i,j)在红色通道、绿色通道和蓝色通道的数值，a、b、c分别为赋予R、G、B三种颜色通道的比例系数；若确定目标存在，则记目标框中心点横坐标与机械手抓取框像素横坐标之差为E＝u-X；当E＞0表明目标位于机械手右侧，机器人左侧推进器组加速使机器人整体向右转；当E＜0表明目标位于机械抓手左侧，机器人右侧推进器组加速使机器人整体向左转；当E＝0则保持机器人左右两组电机转速不变，继续行进；抓取域设定如下：以机械手抓取框中心点(X,Y)为中心，δ为长度单位向上下左右延伸的矩形区域[X±δ,Y±δ]；
计算目标真实位置过程如下：
双目相机测定的像素深度值为w，待抓取目标的实际位置三维坐标为[Xw,Yw,Zw]，其中Xw、Yw、Zw分别物体投影在世界坐标系中x轴y轴和z轴的坐标；根据坐标转换关系可推算出目标在世界坐标系下的坐标即真实位置：
其中dx、dy、u0、v0、f为相机的内部参数，dx和dy代表像素点在图像坐标系沿x轴和y轴的真实物理尺寸，(u0,v0)为图像坐标系原点在像素坐标系下的横纵坐标，f为相机的焦距，γ为扭曲因子；
为0向量，R和T为相机的外部参数；R为3×3的旋转矩阵，代表相机三维坐标系转换至世界坐标系三个坐标轴的角度转化关系，T为3×1的偏移矩阵，代表相机三维坐标系转换至世界坐标系原点产生的偏移量。
本发明技术方案的进一步改进在于：在步骤4中，机器人下潜至抓取位置前深度传感器示数为H，双目相机与机械手之间的高度为h，机械手深度抓取域定义为Zw±ε，其中ε为抓取深度偏差；则机器人需要下沉的深度为Zw-h±ε，深度传感器保持的深度K为：K＝H+(Zw-h)±ε。
由于采用了上述技术方案，本发明取得的技术进步是：
本发明整体采用模块化设计，设备易维护；单功能夹取机械手的质量更轻，在机器人负载有限的情况下，使用该结构单次下潜可抓取回收的目标数量更大；由于水下水流的影响，设置了图像抓取域和机械手深度抓取域，提高了抓取的成功率。
附图说明
图1是本发明水下机器人携带回收篓抓取装置机械结构俯视示意图；
图2是本发明水下机器人抓取装置机械结构侧视示意图；
图3是本发明水下目标抓取方法流程图；
图4是本发明步骤3实时采集图像示意图；
图5是本发明一种水下机器人智能抓取装置及其方法图像识别流程图；
图1中，1、导流罩及浮材模块，2、机械手，3、双目相机，4、回收篓，5、上浮/下潜推进器，6、控制舱，7、深度传感器，8、穿线螺栓，9-1、水下机器人承载体Ⅰ，9-2、水下机器人承载体Ⅱ；
图2中，10、电池舱卡扣，11、电池舱，12、前进/后退推进器，13、舵机，14、舵盘，15、机械臂，16、机械手末端机械夹爪。
具体实施方式
下面结合实施例对本发明做进一步详细说明：
如图1、图2、图3、图4、图5所示，本发明公开了一种水下机器人智能抓取装置及其方法，一种水下机器人智能抓取装置包括：水下机器人承载体、推进器模块、导流罩及浮材模块1、控制舱6、双目相机3、电池舱11、机械手旋转云台、机械手模块、深度传感器模块、回收篓4。
水下机器人承载体包括水下机器人承载体Ⅰ9-1和水下机器人承载体Ⅱ9-2，二者为水下机器人框架结构，二者呈平行关系，另有一块承载体位于电池舱11下方，连接水下机器人承载体Ⅰ9-1和水下机器人承载体Ⅱ9-2两块承载体。所述导流罩及浮材模块1共四块，装配在由承载体构成的空间内，两两对称固定在上浮/下潜推进器5的两侧。所述推进器模块共六个，两个前进/后退推进器12对称固定在控制舱6的两侧，四个前进/后退推进器12固定在导流罩下方的承载体上，同侧的两个推进器相对放置。所述控制舱6固定于水下机器人整体框架中央，内部装有电调调速单元、双目相机3和控制单元，所述其中电调调速单元用来调节推进器的转速，所述双目相机3固定于水下机器人控制舱6内部正前方，用来采集图像信息，所述控制单元用来处理双目相机3采集的图像信息、对水下机器人的运动进行决策与控制和控制机械手旋转云台以及末端机械抓手的开合。所述电池舱11位于控制舱6的正下方，并用电池舱卡扣10固定于水下机器人承载体上，用来装配电池，给水下机器人所有用电设备供电。所述机械手旋转云台包括舵机13及舵盘14，所述舵机13固定于机器人底部框架中央，所述舵盘14固定于舵机13之上。所述机械手模块包括机械臂15和机械手末端机械夹爪16，机械臂15使用卡扣固定于舵盘14下方。所述深度传感器7位于机器人尾部，一半嵌入控制舱6尾部的螺栓孔内，其探针裸露在控制舱6外部，且与双目相机3固定高度相同；所述回收篓4位于水下机器人左前方、机械手模块左侧；还设置有位于控制舱6尾部的穿线螺栓8。
本发明公开的一种水下机器人智能抓取装置及其方法，其流程图如图3所述，包含以下步骤：
步骤一 结合待抓取目标的视觉图像和自身特征，对待抓取目标数据库中的目标图片进行筛选与数据清洗建立待抓取目标数据集，将不能表现目标特征的图片剔除，保证建立数据集的图片具有特征一致性，随后构建神经网络模型，使用数据集对神经网络模型进行离线训练，神经网络损失函数收敛至预设数值则训练完成，得到神经网络模型参数集合，将模型部署至水下机器人控制舱6内的控制单元；
步骤二 对水下机器人进行航迹规划，将水下机器人部署至水下后，机器人按离线规划的航迹进行巡逻，并利用自身搭载的双目相机3在线搜索，为了减小图像处理的的计算量，控制单元对采集的彩色RGB图像进行灰度化：
Grey(i,j)＝a·R(i,j)+b·G(i,j)+c·B(i,j)
其中(i,j)为所采集图像上横坐标为i纵坐标为j的像素点，Grey(i,j)为灰度化后该像素点的灰度，R(i,j)、G(i,j)、B(i,j)分别为像素点(i,j)在红色通道、绿色通道和蓝色通道的数值，a、b、c分别为赋予R、G、B三种颜色通道的比例系数，灰度化完成后对待抓取目标进行特征增强，最后通过控制单元中部署的神经网络模型判断是否为待抓取目标，若是则水下机器人主动趋近目标，并框选出机械手的矩形抓取框和待抓取目标的矩形目标框，将二者中心点像素坐标分别记为(X,Y)及(u,v)，X和Y为机械手抓取框中心点的像素横、纵坐标，u和v分别为目标框中心点的像素横、纵坐标，若不是则继续沿航迹搜索；
步骤三 当确定目标存在，水下机器人向待抓取目标趋近至待抓取目标进入图像中的抓取域，保持待抓取目标处于抓取域内，双目相机3测定待抓取目标中心点像素深度值w，根据坐标转换关系：
其中dx、dy、u0、v0、f为相机的内部参数，由相机的标定而知，dx和dy代表像素点在图像坐标系沿x轴和y轴的真实物理尺寸，(u0,v0)为图像坐标系原点在像素坐标系下的横纵坐标，f为相机的焦距，γ为扭曲因子，通常取0，0为0向量，R和T为相机的外部参数，R为3×3的旋转矩阵，代表相机三维坐标系转换至世界坐标系三个坐标轴的角度转化关系，T为3×1的偏移矩阵，代表相机三维坐标系转换至世界坐标系原点产生的偏移量，可推算出待抓取目标的实际位置三维坐标[Xw,Yw,Zw]，其中Xw、Yw、Zw分别为待抓取目标在世界坐标系中x轴y轴和z轴的坐标；
步骤四 读取深度传感器7当前示数H，计算出水下机器人应下潜的深度Zw-h±ε，其中ε为抓取深度偏差，h为双目相机3与机械手之间的高度，控制单元控制竖直方向推进器使水下机器人下潜，直至目标处于机械手深度抓取域Zw±ε，使深度传感器7示数保持在K＝H+(Zw-h)±ε，控制单元控制机械手闭合对目标抓取随后控制单元控制机械手旋转云台，云台带动机械手水平转动，将目标放入回收篓4，云台再次转动使机械手回到中位，抓取完成；
步骤五 重复上述步骤一到步骤四，可持续对待抓取目标进行抓取，直至回收篓4满载，水下机器人上浮至水面，清空回收篓4。
以上所述的实施仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变型和改进，均应落入本发明权利要求书确定的保护范围内。
Claims (5)
1.一种水下机器人智能抓取装置，其特征在于：包括水下机器人承载体、推进器模块、导流罩及浮材模块(1)、控制舱(6)、双目相机(3)、电池舱(11)、机械手旋转云台、机械手模块、深度传感器模块、回收篓(4)；所述水下机器人承载体包括导流罩下方的承载体以及两个相互平行的承载体水下机器人承载体Ⅰ(9-1)和水下机器人承载体Ⅱ(9-2)；所述推进器模块包括两个对称设置的固定连接在控制舱(6)的两侧的前进/后退推进器(12)以及四个固定连接在导流罩下方的承载体上的前进/后退推进器(12)；两个上浮/下潜推进器(5)固定连接在控制舱(6)的两侧，所述导流罩及浮材模块(1)位于两个上浮/下潜推进器(5)前后两侧；所述控制舱(6)固定于水下机器人整体框架中央，控制舱(6)内部设置有电调调速单元、控制单元和双目相机(3)；所述电池舱(11)位于控制舱(6)的正下方，电池舱(11)通过电池舱卡扣(10)固定于水下机器人承载体上；所述机械手旋转云台包括舵机(13)及舵盘(14)，所述舵机(13)固定在机器人底部框架中央，舵盘(14)固定于舵机(13)之上；所述机械手模块包括机械臂(15)和固定连接在机械臂(15)末端的机械手末端机械夹爪(16)，机械臂(15)通过卡扣固定于舵盘(14)下方；所述深度传感器(7)固定连接在控制舱(6)的尾部，深度传感器(7)与双目相机(3)固定高度相同；所述回收篓(4)位于机械手模块左侧。
2.一种水下机器人智能抓取其方法，其特征在于：包括以下步骤：
步骤1：结合待抓取目标的视觉图像和自身特征，对待抓取目标数据库中的目标图片进行图像预处理，并建立待抓取目标的数据集，使用数据集对神经网络模型进行离线训练，训练完成后将模型部署至水下机器人控制舱(6)内的控制单元；
步骤2：对水下机器人进行航迹规划，将水下机器人部署至水下后，机器人按离线规划的航迹进行巡逻，并利用自身搭载的双目相机在线搜索，控制单元对采集的图像进行灰度化和特征增强，最后通过神经网络模型判断是否为待抓取目标，若是则水下机器人主动趋近目标，若不是则继续沿航迹搜索；
步骤3：当确定目标存在，水下机器人向待抓取目标趋近至待抓取目标进入图像中的抓取域，保持待抓取目标处于抓取域内，双目相机测定待抓取目标中心点像素深度值，通过计算推算出目标的实际位置；
步骤4：读取深度传感器(7)当前示数，计算出水下机器人应下潜的深度，控制单元控制竖直方向推进器使水下机器人下潜，直至目标处于机械手深度抓取域，控制单元控制机械手闭合对目标抓取随后控制单元控制机械手旋转云台，云台带动机械手水平转动，将目标放入回收篓(4)，云台再次转动使机械手回到中位，抓取完成；
步骤5：重复上述步骤1到步骤4，可持续对待抓取目标进行抓取，直至回收篓(4)满载，水下机器人上浮至水面，清空回收篓(4)。
3.根据权利要求2所述的一种水下机器人智能抓取方法，其特征在于：在步骤2中，若判断目标为待抓取目标，则框选出机械手的矩形抓取框和待抓取目标的矩形目标框，将二者中心点像素坐标分别记为(X,Y)及(u,v)，X和Y为机械手抓取框中心点的像素横、纵坐标；u和v分别为目标框中心点的像素横、纵坐标。
4.根据权利要求2在步骤3所述的一种水下机器人智能抓取方法，其特征在于：在步骤3中，为了减小图像处理的计算量，对双目相机采集的三色RGB图像进行灰度化：
Grey(i,j)＝a·R(i,j)+b·G(i,j)+c·B(i,j)
其中(i,j)为所采集图像上横坐标为i纵坐标为j的像素点，Grey(i,j)为灰度化后该像素点的灰度，R(i,j)、G(i,j)、B(i,j)分别为像素点(i,j)在红色通道、绿色通道和蓝色通道的数值，a、b、c分别为赋予R、G、B三种颜色通道的比例系数；若确定目标存在，则记目标框中心点横坐标与机械手抓取框像素横坐标之差为E＝u-X；当E＞0表明目标位于机械手右侧，机器人左侧推进器组加速使机器人整体向右转；当E＜0表明目标位于机械抓手左侧，机器人右侧推进器组加速使机器人整体向左转；当E＝0则保持机器人左右两组电机转速不变，继续行进；抓取域设定如下：以机械手抓取框中心点(X,Y)为中心，δ为长度单位向上下左右延伸的矩形区域[X±δ,Y±δ]；
计算目标真实位置过程如下：
双目相机测定的像素深度值为w，待抓取目标的实际位置三维坐标为[Xw,Yw,Zw]，其中Xw、Yw、Zw分别物体投影在世界坐标系中x轴y轴和z轴的坐标；根据坐标转换关系可推算出目标在世界坐标系下的坐标即真实位置：
其中dx、dy、u0、v0、f为相机的内部参数，dx和dy代表像素点在图像坐标系沿x轴和y轴的真实物理尺寸，(u0,v0)为图像坐标系原点在像素坐标系下的横纵坐标，f为相机的焦距，γ为扭曲因子；
为0向量，R和T为相机的外部参数；R为3×3的旋转矩阵，代表相机三维坐标系转换至世界坐标系三个坐标轴的角度转化关系，T为3×1的偏移矩阵，代表相机三维坐标系转换至世界坐标系原点产生的偏移量。
5.根据权利要求2所述的一种水下机器人智能抓取方法，其特征在于：在步骤4中，机器人下潜至抓取位置前深度传感器(7)示数为H，双目相机与机械手之间的高度为h，机械手深度抓取域定义为Zw±ε，其中ε为抓取深度偏差；则机器人需要下沉的深度为Zw-h±ε，深度传感器(7)保持的深度K为：K＝H+(Zw-h)±ε。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110869244.3A CN113561178B (zh) | 2021-07-30 | 2021-07-30 | 一种水下机器人智能抓取装置及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110869244.3A CN113561178B (zh) | 2021-07-30 | 2021-07-30 | 一种水下机器人智能抓取装置及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113561178A true CN113561178A (zh) | 2021-10-29 |
| CN113561178B CN113561178B (zh) | 2024-02-13 |
Family
ID=78169361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110869244.3A Active CN113561178B (zh) | 2021-07-30 | 2021-07-30 | 一种水下机器人智能抓取装置及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113561178B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113752279A (zh) * | 2021-10-08 | 2021-12-07 | 吉林大学 | 一种用于回收auv的智能仿生软体机械手 |
| CN114248893A (zh) * | 2022-02-28 | 2022-03-29 | 中国农业大学 | 一种面向海参捕捞的作业型水下机器人及其控制方法 |
| CN114770461A (zh) * | 2022-04-14 | 2022-07-22 | 深圳技术大学 | 一种基于单目视觉的移动机器人及其自动抓取方法 |
| CN115924037A (zh) * | 2023-01-31 | 2023-04-07 | 中国船舶科学研究中心 | 一种深海可移动式释放抓取装置及操作方法 |
| CN116252306A (zh) * | 2023-05-10 | 2023-06-13 | 中国空气动力研究与发展中心设备设计与测试技术研究所 | 基于分层强化学习的物体排序方法、装置及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102951275A (zh) * | 2012-11-08 | 2013-03-06 | 北京航空航天大学 | 一种核电站微小型作业水下机器人 |
| CN108876855A (zh) * | 2018-05-28 | 2018-11-23 | 哈尔滨工程大学 | 一种基于深度学习的海参检测和双目视觉定位方法 |
| CN108908334A (zh) * | 2018-07-20 | 2018-11-30 | 汕头大学 | 一种基于深度学习的智能抓取系统及方法 |
| CN110543859A (zh) * | 2019-09-05 | 2019-12-06 | 大连海事大学 | 一种基于深度学习和双目定位的海参自主识别和抓取方法 |
| CN210822698U (zh) * | 2019-09-04 | 2020-06-23 | 南京三万物联网科技有限公司 | 一种水面水下通用型水质水利监测机器人 |
| CN111496770A (zh) * | 2020-04-09 | 2020-08-07 | 上海电机学院 | 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法 |
| CN111674530A (zh) * | 2020-04-29 | 2020-09-18 | 大连海事大学 | 一种水下小目标定位抓取装置及方法 |
-
2021
- 2021-07-30 CN CN202110869244.3A patent/CN113561178B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102951275A (zh) * | 2012-11-08 | 2013-03-06 | 北京航空航天大学 | 一种核电站微小型作业水下机器人 |
| CN108876855A (zh) * | 2018-05-28 | 2018-11-23 | 哈尔滨工程大学 | 一种基于深度学习的海参检测和双目视觉定位方法 |
| CN108908334A (zh) * | 2018-07-20 | 2018-11-30 | 汕头大学 | 一种基于深度学习的智能抓取系统及方法 |
| CN210822698U (zh) * | 2019-09-04 | 2020-06-23 | 南京三万物联网科技有限公司 | 一种水面水下通用型水质水利监测机器人 |
| CN110543859A (zh) * | 2019-09-05 | 2019-12-06 | 大连海事大学 | 一种基于深度学习和双目定位的海参自主识别和抓取方法 |
| CN111496770A (zh) * | 2020-04-09 | 2020-08-07 | 上海电机学院 | 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法 |
| CN111674530A (zh) * | 2020-04-29 | 2020-09-18 | 大连海事大学 | 一种水下小目标定位抓取装置及方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113752279A (zh) * | 2021-10-08 | 2021-12-07 | 吉林大学 | 一种用于回收auv的智能仿生软体机械手 |
| CN114248893A (zh) * | 2022-02-28 | 2022-03-29 | 中国农业大学 | 一种面向海参捕捞的作业型水下机器人及其控制方法 |
| CN114770461A (zh) * | 2022-04-14 | 2022-07-22 | 深圳技术大学 | 一种基于单目视觉的移动机器人及其自动抓取方法 |
| CN114770461B (zh) * | 2022-04-14 | 2023-12-01 | 深圳技术大学 | 一种基于单目视觉的移动机器人及其自动抓取方法 |
| CN115924037A (zh) * | 2023-01-31 | 2023-04-07 | 中国船舶科学研究中心 | 一种深海可移动式释放抓取装置及操作方法 |
| CN115924037B (zh) * | 2023-01-31 | 2023-10-13 | 中国船舶科学研究中心 | 一种深海可移动式释放抓取装置及操作方法 |
| CN116252306A (zh) * | 2023-05-10 | 2023-06-13 | 中国空气动力研究与发展中心设备设计与测试技术研究所 | 基于分层强化学习的物体排序方法、装置及存储介质 |
| CN116252306B (zh) * | 2023-05-10 | 2023-07-11 | 中国空气动力研究与发展中心设备设计与测试技术研究所 | 基于分层强化学习的物体排序方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113561178B (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113561178B (zh) | 一种水下机器人智能抓取装置及其方法 | |
| CN110543859B (zh) | 一种基于深度学习和双目定位的海参自主识别和抓取方法 | |
| CN114248893B (zh) | 一种面向海参捕捞的作业型水下机器人及其控制方法 | |
| CN107186708B (zh) | 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法 | |
| CN104777845B (zh) | 水下机器人的水下本体装置及自主避障方法 | |
| CN108453738A (zh) | 一种基于Opencv图像处理的四旋翼飞行器空中自主抓取作业的控制方法 | |
| CN112519978B (zh) | 一种船舶螺旋桨水下清洗装置及其清洗方法 | |
| CN111746728B (zh) | 一种基于强化学习的新型水上清洁机器人及控制方法 | |
| CN113671994A (zh) | 基于强化学习的多无人机与多无人船巡检控制系统 | |
| CN110271656A (zh) | 一种rov水下机器人 | |
| CN109466725B (zh) | 一种基于神经网络和图像识别的智能水面漂浮物打捞系统 | |
| CN107730539B (zh) | 自主水下机器人控制系统及声纳目标跟踪方法 | |
| CN112809703A (zh) | 基于esrgan增强超分辨率和cnn图像识别的底播海参捕捞机器人 | |
| Zhou et al. | Autonomous fish tracking by rov using monocular camera | |
| CN111136687A (zh) | 一种水下机器人视觉控制目标抓取测试系统与方法 | |
| CN209330618U (zh) | 一种农田专用除草机器人 | |
| Barngrover et al. | The stingray AUV: A small and cost-effective solution for ecological monitoring | |
| CN110434876B (zh) | 一种六自由度rov模拟驾驶系统及其模拟方法 | |
| CN114228950A (zh) | 一种基于OpenCV与深度学习的水面物体打捞方法及打捞船 | |
| Wang et al. | An embedded vision system for robotic fish navigation | |
| CN116255908B (zh) | 面向水下机器人的海生物定位测量装置及方法 | |
| CN115125923B (zh) | 一种小型水域垃圾清理机器人 | |
| Kim et al. | Line Laser mounted Small Agent ROV based 3D Reconstruction Method for Precision Underwater Manipulation | |
| CN117234092B (zh) | 水下潜航机器人及其控制方法与控制装置 | |
| CN109625218A (zh) | 一种基于太阳能充电的无人监控水下养殖机器人系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |