CN116214532A - 一种海底电缆机械臂自主避障抓取系统及抓取方法 - Google Patents
一种海底电缆机械臂自主避障抓取系统及抓取方法 Download PDFInfo
- Publication number
- CN116214532A CN116214532A CN202310522734.5A CN202310522734A CN116214532A CN 116214532 A CN116214532 A CN 116214532A CN 202310522734 A CN202310522734 A CN 202310522734A CN 116214532 A CN116214532 A CN 116214532A
- Authority
- CN
- China
- Prior art keywords
- grabbing
- mechanical arm
- obstacle avoidance
- unit
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000004364 calculation method Methods 0.000 claims abstract description 31
- 230000000007 visual effect Effects 0.000 claims abstract description 28
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims description 28
- 238000012800 visualization Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 8
- 238000012423 maintenance Methods 0.000 claims description 7
- 238000000513 principal component analysis Methods 0.000 claims description 7
- 230000004888 barrier function Effects 0.000 claims description 6
- 238000003064 k means clustering Methods 0.000 claims description 6
- 230000002457 bidirectional effect Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 description 7
- 238000007689 inspection Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
- B25J9/1666—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63C—LAUNCHING, HAULING-OUT, OR DRY-DOCKING OF VESSELS; LIFE-SAVING IN WATER; EQUIPMENT FOR DWELLING OR WORKING UNDER WATER; MEANS FOR SALVAGING OR SEARCHING FOR UNDERWATER OBJECTS
- B63C11/00—Equipment for dwelling or working underwater; Means for searching for underwater objects
- B63C11/52—Tools specially adapted for working underwater, not otherwise provided for
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Ocean & Marine Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种海底电缆机械臂自主避障抓取系统及抓取方法，属于水下设备智能检修技术领域，该系统包括位于水下的机器人平台以及位于水上的终端可视化控制模块；可视化控制模块包括一台运行Ubuntu系统的主机及显示器；机器人平台上具有抓取及避障计算模块、机械臂运动控制模块。采用本发明的系统无需工作人员潜入海底手动检修，可自主识别需抓取检测的海缆目标，并根据工作人员所指定的目标进行自主抓取，进行抓取动作时通过双目摄像机实时监控路径周围障碍物并进行自主避障，抓取完成后可通过拖动或关节指令给定形式移动所检修电缆，实现对海底电缆安全可靠的抓取。
Description
技术领域
本发明属于水下设备智能检修技术领域，具体涉及一种海底电缆机械臂自主避障抓取系统及抓取方法。
背景技术
海底电缆在海洋工程中扮演着重要的角色，随着对海洋资源的关注和人类科技的进步，跨洋洲际网络通信、海底能源传输和海洋科学研究等领域需要铺设大量海底电缆。然而，这些错综复杂的电缆需要进行定期检测和维护。
目前，海底电缆的检测和维修方法主要包括人工巡检、声学检测和电气检测等方式。然而，传统的检测和维修方法存在成本高、效率低、安全性差的问题，其中：人工巡检需要大量的人力物力投入，而且可能会面临安全问题；声学检测在电缆故障诊断和定位方面存在一定的限制；电气检测需要安装传感器设备，也存在局限性。 因此，现有的海底电缆检修手段无法很好的满足要求，迫切需要发展新型的海底电缆检测和维修技术，以满足高效、低成本和安全可靠的需求。
发明内容
针对上述问题，本发明提出一种海底电缆机械臂自主避障抓取系统及抓取方法，无需工作人员潜入海底手动检修，可自主识别需抓取检测的海缆目标，并根据工作人员所指定的目标进行自主抓取，进行抓取动作时通过双目摄像机实时监控路径周围障碍物并进行自主避障，抓取完成后可通过拖动或关节指令给定形式移动所检修电缆，实现对海底电缆安全可靠的抓取。
为达到上述目的，本发明的技术方案如下：
本发明首先提供一种海底电缆机械臂自主避障抓取系统，该系统包括位于水下的机器人平台以及位于水上的终端可视化控制模块；
所述可视化控制模块包括一台运行Ubuntu系统的主机及显示器，该可视化控制模块搭载了Rviz任务可视化单元、抓取目标选择单元、机械臂手动控制单元的软件单元；
所述机器人平台上具有抓取及避障计算模块、机械臂运动控制模块；所述抓取及避障计算模块包括双目摄像机、嵌入式边缘计算设备；所述机械臂运动控制模块包括六自由度机械臂、支持CAN总线通信的ARM架构芯片及其外围电路；所述抓取及避障计算模块上搭载了双目摄像机图像识别单元、抓取姿态生成单元、轨迹规划及避障单元的软件单元；所述机械臂运动控制模块搭载了逆运动学解算单元、机械臂伺服控制单元、夹爪伺服控制单元的软件单元；
所述可视化控制模块通过脐带缆与所述抓取及避障计算模块连接，所述脐带缆内部包含两根电源线为水下机器人平台、抓取及避障计算模块、机械臂运动控制模块供电，所述脐带缆内还包含两组屏蔽双绞线，一头与水下机器人平台中抓取及避障计算模块连接，另一头与水面操纵终端的终端可视化模块连接，以保证模块间双向高速通信；
位于水下机器人平台中的抓取及避障模块通过CAN总线与位于水下机器人平台中的机械臂运动控制模块进行通信。
进一步地，所述可视化控制模块与所述抓取及避障计算模块之间通过TCP/IP协议进行双向数据传输。
本发明还提供一种用上述的海底电缆机械臂自主避障抓取系统进行海底电缆机械臂自主避障抓取的方法，该方法包括如下步骤：
S1. 双目摄像机图像识别单元接收来自双目相机的RGBD深度图像，识别抓取目标种类，将抓取目标、双目相机实时图像、机械臂状态发送给抓取姿态生成单元，并通过脐带缆内的屏蔽双绞线发送给Rviz任务可视化单元进展示；
S2.操作员指定抓取目标并通过抓取目标选择单元将指令通过脐带缆内的屏蔽双绞线发送给抓取姿态生成单元；
S3. 抓取姿态生成单元根据抓取目标选择单元的指令，接收来自双目摄像机图像识别单元的深度图像生成抓取姿态及三维坐标并发送到轨迹规划及避障单元；
S4.轨迹规划及避障单元接收抓取姿态并根据机械臂当前姿态与基于双目相机深度图生成的八叉树障碍地图进行避障轨迹规划，将机械臂轨迹及夹爪抓取开合程度通过CAN总线发送给逆运动学解算单元；
S5.逆运动学解算单元根据机械臂轨迹进行逆运动学解算并将关节角度及夹爪闭合度传递给机械臂伺服控制单元及夹爪伺服控制单元，控制机械臂及夹爪进行自主海缆抓取作业，抓取完成后通过机械臂手动控制单元控制机械臂完成后序检测及维修。
进一步地，步骤S1的具体方法是：
双目摄像机图像识别单元接收来自双目相机的RGBD深度图像，提取其中RGB图像，使用暗通道先验算法对图像进行预处理去雾，将去雾处理后的图像传入DarkNet53分类网络进行特征提取，并使用k-means聚类算法对数据集中的标签框进行聚类生成先验框，根据先验框与ResNet53分类网络输出的特征图解码出目标检测框尺寸、目标置信度、目标类别，选择其中类别为海缆，置信度大于80%的检测框，根据选择的检测框尺寸及中心点分割双目相机RGBD图像中的海缆目标，将分割后的RGB图像和深度图像分别传递到Rviz任务可视化单元与抓取姿态生成单元，所述DarkNet53分类网络及k-means聚类基于pytorch框架搭建，并借助TensorRT对整体目标识别网络进行推理加速以满足实时性需求。
进一步地，步骤S3的具体方法是：
S31.抓取姿态生成单元接收来自双目摄像机图像识别单元的目标区域深度图像并将其转换为点云图，在目标点云外表面随机采样N个点作为抓取姿态中心
，对于每个抓取中心，在抓取方向半球上以角度a为步长离散化生成若干抓取姿态方向，并记录方向四元数/>
，对于每个抓取中心/>
在其抓取方向上以长度l为步长前进或后退m步生成若干抓取姿态坐标/>
，抓取姿态坐标与对应方向四元数构成候选抓取姿态；
S32.针对步骤S31得到的候选抓取姿态进行初步可行性分析，根据夹爪几何信息判断目标是否在夹爪可夹取区域及目标是否与夹爪发生碰撞，滤除目标不在可夹取区域或目标与夹爪发生碰撞的候选夹取姿态；
S33.将步骤S32筛选后的候选抓取姿态中夹爪可夹取区域内点云输入PointNetGPD网络，对每个候选抓取姿态进行打分，选取其中分数最高的候选抓取姿态作为最终抓取姿态。
进一步地，步骤S4的具体方法是：
S41.轨迹规划及避障单元接收双目相机实时返回的深度图像并将其转换为八叉树格栅地图用于进行碰撞检测；
S42.轨迹规划及避障单元使用OMPL开源运动规划库进行轨迹规划；
S43.轨迹规划及避障单元使用OBB碰撞检测算法求解机械臂运行轨迹上的碰撞极限；
S44.轨迹规划及避障单元使用RRT快速扩展随机树算法进行避障轨迹规划。
进一步地，步骤S41的具体方法是：轨迹规划及避障单元收接双目相机实时返回的深度图像，通过octomap包中的octomap_server节点将深度图像实时转换为八叉树格栅地图作为障碍地图用于进行碰撞检测，并使用贝叶斯准则进行实时更新：
其中，T为当前时刻，n为第n个子节点，
为第n个子节点在T时刻存在障碍物的概率，当概率大于设定阈值时，判断该子节点为障碍，/>
为第n个子节点根据第T个时刻观测到的数据计算出的障碍物概率，/>
为第n个子节点在T-1时刻存在障碍物的概率，/>
为第n个子节点存在障碍物的先验概率，设定为0.5。
进一步地，步骤S42的具体方法是：使用Moveit！机器人运动规划框架通过插件机制与运动规划器OMPL进行交互，调用move_group.plan(my_plan)获取机械臂几何运动规划轨迹。
进一步地，步骤S43的具体方法是：根据机械臂的三维模型，对机械臂的所有顶点进行PCA（Principal Component Analysis）主成分分析，求出其主轴方向、中心点和对应的边长生成机械臂的最小外接矩形，即OBB包围盒，最后计算OBB包围盒的八个顶点在八叉树地图坐标系下的位置，从而判断顶点是否在八叉树障碍地图内部，求解出碰撞极限。
进一步地，步骤S44的具体方法是：将存在碰撞的笛卡尔空间路径规划问题转换为关节空间的路径规划问题，并将步骤S43中求得碰撞极限作为障碍约束，使用RRT快速扩展随机树算法进行关节空间的路径规划，使用三次样条插值对路径进行平滑，最后使用正运动学将轨迹从关节空间转换为笛卡尔空间，并将所述轨迹更新入步骤S42中运动规划轨迹实现避障。
与现有技术相比，本发明具有如下优点：
本发明利用双目摄像机识别抓取目标，通过抓取姿态生成单元生成抓取位姿并在自主抓取过程中实现实时避障，通过交互界面实时显示机械臂状态、摄像机图像，整体系统安全可靠、成本相对低廉、自动化程度高。
附图说明
图1是本发明设计的一种海底电缆机械臂自主避障抓取系统整体架构示意图；
图2是基于本发明设计的终端可视化控制模块整体交互介面结构及内容示意图；
图3是本发明设计的一种海底电缆机械臂自主避障抓取系统运行流程图；
附图标记说明：1 拖动球、2Rviz可视化平台、3机械臂实时状态模型、4角度空间机械臂控制面板、5机械臂实时状态可视化窗口、6夹爪模型、7抓取目标选择面板、8实时图像窗口。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本实施例的一种海底电缆机械臂自主避障抓取系统，包括终端可视化控制模块、抓取及避障计算模块、机械臂运动控制模块。终端可视化控制模块位于水上操纵终端，其硬件包括一台运行Ubuntu系统的主机及显示器，软件包括Rviz任务可视化单元、抓取目标选择单元、机械臂手动控制单元；抓取及避障计算模块位于水下机器人平台，其硬件包括防水耐压双目摄像机、20TOPS以上算力的嵌入式边缘计算设备，软件包括双目摄像机图像识别单元、抓取姿态生成单元、轨迹规划及避障单元；机械臂运动控制模块位于水下机器人平台，其硬件包括六自由度机械臂、支持CAN总线通信的ARM架构芯片及其外围电路，软件包括：逆运动学解算单元、机械臂伺服控制单元、夹爪伺服控制单元。位于水下机器人平台中的抓取及避障模块通过脐带缆与位于水面操纵终端的终端可视化控制模块进行通信，所述脐带缆内部包含两根电源线为水下机器人平台、抓取及避障计算模块、机械臂运动控制模块供电，除电源线外，脐带缆内还应包含两组屏蔽双绞线，一头与水下机器人平台中抓取及避障模块连接，另一头与水面操纵终端的终端可视化模块连接，以保证模块间双向高速通信。
位于水下机器人平台中的抓取及避障模块通过CAN总线与位于水下机器人平台中的机械臂运动控制模块进行通信。
如图2所示，所述终端可视化控制模块整体交互介面结构基于Rviz可视化平台2，整体交互界面左上侧为实时图像窗口8、左下侧为抓取目标选择面板7，工作人员可通过抓取目标选择面板7选择抓取目标，整体交互界面中间为机械臂实时状态可视化窗口5，窗口内包括机械臂实时状态模型3、夹爪模型6、拖动球1，其中夹爪模型6位于机械臂实时状态模型3末端，拖动球1位于机械臂实时状态模型3末端，工作人员可选中拖动球1在笛卡尔空间中手动控制机械臂末端位姿，整体交互界面右侧为角度空间机械臂控制面板4，内含七个可拖动的滑块用于手动控制机械臂六个关节角度以及夹爪开合程度。
如图3所示，一种用上述的海底电缆机械臂自主避障抓取系统进行海底电缆机械臂自主避障抓取的方法，该方法包括如下步骤：
S1. 双目摄像机图像识别单元接收来自双目相机的RGBD深度图像，识别抓取目标种类，将抓取目标、双目相机实时图像、机械臂状态发送给抓取姿态生成单元，并通过脐带缆内的屏蔽双绞线发送给Rviz任务可视化单元进展示；具体地，双目摄像机图像识别单元接收来自双目相机的RGBD深度图像，提取其中RGB图像，使用暗通道先验算法对图像进行预处理去雾，将去雾处理后的图像传入DarkNet53分类网络进行特征提取，并使用k-means聚类算法对数据集中的标签框进行聚类生成先验框，根据先验框与ResNet53分类网络输出的特征图解码出目标检测框尺寸、目标置信度、目标类别，选择其中类别为海缆，置信度大于80%的检测框，根据选择的检测框尺寸及中心点分割双目相机RGBD图像中的海缆目标，将分割后的RGB图像和深度图像分别传递到Rviz任务可视化单元与抓取姿态生成单元，所述DarkNet53分类网络及k-means聚类基于pytorch框架搭建，并借助TensorRT对整体目标识别网络进行推理加速以满足实时性需求。
S2.操作员指定抓取目标并通过抓取目标选择单元将指令通过脐带缆内的屏蔽双绞线发送给抓取姿态生成单元；
S3. 抓取姿态生成单元根据抓取目标选择单元的指令，接收来自双目摄像机图像识别单元的深度图像生成抓取姿态及三维坐标并发送到轨迹规划及避障单元，具体包括如下步骤：
S31.抓取姿态生成单元接收来自双目摄像机图像识别单元的目标区域深度图像并将其转换为点云图，在目标点云外表面随机采样N个点作为抓取姿态中心
，对于每个抓取中心，在抓取方向半球上以角度a为步长离散化生成若干抓取姿态方向，并记录方向四元数/>
，对于每个抓取中心/>
在其抓取方向上以长度l为步长前进或后退m步生成若干抓取姿态坐标/>
，抓取姿态坐标与对应方向四元数构成候选抓取姿态；
S32.针对步骤S31得到的候选抓取姿态进行初步可行性分析，根据夹爪几何信息判断目标是否在夹爪可夹取区域及目标是否与夹爪发生碰撞，滤除目标不在可夹取区域或目标与夹爪发生碰撞的候选夹取姿态；
S33.将步骤S32筛选后的候选抓取姿态中夹爪可夹取区域内点云输入PointNetGPD网络，对每个候选抓取姿态进行打分，选取其中分数最高的候选抓取姿态作为最终抓取姿态。
S4.轨迹规划及避障单元接收抓取姿态并根据机械臂当前姿态与基于双目相机深度图生成的八叉树障碍地图进行避障轨迹规划，将机械臂轨迹及夹爪抓取开合程度通过CAN总线发送给逆运动学解算单元；具体包括如下步骤：
S41.轨迹规划及避障单元接收双目相机实时返回的深度图像并将其转换为八叉树格栅地图用于进行碰撞检测，具体方法是：轨迹规划及避障单元收接双目相机实时返回的深度图像，通过octomap包中的octomap_server节点将深度图像实时转换为八叉树格栅地图作为障碍地图用于进行碰撞检测，并使用贝叶斯准则进行实时更新：
其中，T为当前时刻，n为第n个子节点，
为第n个子节点在T时刻存在障碍物的概率，当概率大于设定阈值时，判断该子节点为障碍，/>
为第n个子节点根据第T个时刻观测到的数据计算出的障碍物概率，/>
为第n个子节点在T-1时刻存在障碍物的概率，/>
为第n个子节点存在障碍物的先验概率，设定为0.5。
S42.轨迹规划及避障单元使用OMPL开源运动规划库进行轨迹规划，具体方法是：使用Moveit！机器人运动规划框架通过插件机制与运动规划器OMPL进行交互，调用move_group.plan(my_plan)获取机械臂几何运动规划轨迹。
S43.轨迹规划及避障单元使用OBB碰撞检测算法求解机械臂运行轨迹上的碰撞极限，具体方法是：根据机械臂的三维模型，对机械臂的所有顶点进行PCA（PrincipalComponent Analysis）主成分分析，求出其主轴方向、中心点和对应的边长生成机械臂的最小外接矩形，即OBB包围盒，最后计算OBB包围盒的八个顶点在八叉树地图坐标系下的位置，从而判断顶点是否在八叉树障碍地图内部，求解出碰撞极限。
S44.轨迹规划及避障单元使用RRT快速扩展随机树算法进行避障轨迹规划，具体方法是：将存在碰撞的笛卡尔空间路径规划问题转换为关节空间的路径规划问题，并将步骤S43中求得碰撞极限作为障碍约束，使用RRT快速扩展随机树算法进行关节空间的路径规划，使用三次样条插值对路径进行平滑，最后使用正运动学将轨迹从关节空间转换为笛卡尔空间，并将所述轨迹更新入步骤S42中运动规划轨迹实现避障。
S5.逆运动学解算单元根据机械臂轨迹进行逆运动学解算并将关节角度及夹爪闭合度传递给机械臂伺服控制单元及夹爪伺服控制单元，控制机械臂及夹爪进行自主海缆抓取作业，抓取完成后通过机械臂手动控制单元控制机械臂完成后序检测及维修。
本实施例中，所述终端可视化控制模块、抓取及避障模块采用带有实时内核的Ubuntu作为操作系统，所述整体软件功能实现基于ROS（Robot Operating System）框架，各子任务间依靠话题、服务及动作进行通信，所述位于水面的终端可视化控制模块与位于水下的抓取及避障模块采用ROS多机通信进行数据传输，位于水下的抓取及避障模块为主机，位于水面的终端可视化控制模块为从机。
本实施例中，所述终端可视化模块整体交互介面基于Rviz可视化平台，所述可视化交互界面应包括双目摄像机实时画面、机械臂实时状态、抓取目标选择面板、位于机械臂三维模型上的拖动控制球体、机械臂关节空间及夹爪手动控制面板。
本实施例中，所述摄像机为具有至少30bar耐压防水外壳的双目CCD工业相机及图像处理芯片，能够输出RGBD图像；
所述抓取及避障计算模块应采用20TOPS以上算力的嵌入式设备作为硬件保证目标识别单元、抓取姿态生成单元、轨迹规划及避障单元的实时运行。
本实施例中，所述逆运动学解算单元采用标准D-H表示法建立机械臂运动学模型，根据获取到的笛卡尔空间轨迹，使用TRAC-IK逆运动学求解器中的KinematicsBaseMoveIt接口解算出跟踪目标轨迹所需的关节空间指令，并将指令传递给机械臂伺服控制单元及夹爪伺服控制单元，伺服控制单元通过FOC算法驱动机械臂关节电机与夹爪电机作动，按照目标轨迹移动并完成自主抓取任务。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种海底电缆机械臂自主避障抓取系统，其特征在于，该系统包括位于水下的机器人平台以及位于水上的终端可视化控制模块；
所述可视化控制模块包括一台运行Ubuntu系统的主机及显示器，该可视化控制模块搭载了Rviz任务可视化单元、抓取目标选择单元、机械臂手动控制单元的软件单元；
所述机器人平台上具有抓取及避障计算模块、机械臂运动控制模块；所述抓取及避障计算模块包括双目摄像机、嵌入式边缘计算设备；所述机械臂运动控制模块包括六自由度机械臂、支持CAN总线通信的ARM架构芯片及其外围电路；所述抓取及避障计算模块上搭载了双目摄像机图像识别单元、抓取姿态生成单元、轨迹规划及避障单元的软件单元；所述机械臂运动控制模块搭载了逆运动学解算单元、机械臂伺服控制单元、夹爪伺服控制单元的软件单元；
所述可视化控制模块通过脐带缆与所述抓取及避障计算模块连接，所述脐带缆内部包含两根电源线为水下机器人平台、抓取及避障计算模块、机械臂运动控制模块供电，所述脐带缆内还包含两组屏蔽双绞线，一头与水下机器人平台中抓取及避障计算模块连接，另一头与水面操纵终端的终端可视化模块连接，以保证模块间双向高速通信；
位于水下机器人平台中的抓取及避障模块通过CAN总线与位于水下机器人平台中的机械臂运动控制模块进行通信。
2.根据权利要求1所述的海底电缆机械臂自主避障抓取系统，其特征在于，所述可视化控制模块与所述抓取及避障计算模块之间通过TCP/IP协议进行双向数据传输。
3.用权利要求1或2所述的海底电缆机械臂自主避障抓取系统进行海底电缆机械臂自主避障抓取的方法，其特征在于，该方法包括如下步骤：
S1.双目摄像机图像识别单元接收来自双目相机的RGBD深度图像，识别抓取目标种类，将抓取目标、双目相机实时图像、机械臂状态发送给抓取姿态生成单元，并通过脐带缆内的屏蔽双绞线发送给Rviz任务可视化单元进展示；
S2.操作员指定抓取目标并通过抓取目标选择单元将指令通过脐带缆内的屏蔽双绞线发送给抓取姿态生成单元；
S3. 抓取姿态生成单元根据抓取目标选择单元的指令，接收来自双目摄像机图像识别单元的深度图像生成抓取姿态及三维坐标并发送到轨迹规划及避障单元；
S4.轨迹规划及避障单元接收抓取姿态并根据机械臂当前姿态与基于双目相机深度图生成的八叉树障碍地图进行避障轨迹规划，将机械臂轨迹及夹爪抓取开合程度通过CAN总线发送给逆运动学解算单元；
S5.逆运动学解算单元根据机械臂轨迹进行逆运动学解算并将关节角度及夹爪闭合度传递给机械臂伺服控制单元及夹爪伺服控制单元，控制机械臂及夹爪进行自主海缆抓取作业，抓取完成后通过机械臂手动控制单元控制机械臂完成后序检测及维修。
4.根据权利要求3所述的海底电缆机械臂自主避障抓取的方法，其特征在于，步骤S1的具体方法是：
双目摄像机图像识别单元接收来自双目相机的RGBD深度图像，提取其中RGB图像，使用暗通道先验算法对图像进行预处理去雾，将去雾处理后的图像传入DarkNet53分类网络进行特征提取，并使用k-means聚类算法对数据集中的标签框进行聚类生成先验框，根据先验框与ResNet53分类网络输出的特征图解码出目标检测框尺寸、目标置信度、目标类别，选择其中类别为海缆，置信度大于80%的检测框，根据选择的检测框尺寸及中心点分割双目相机RGBD图像中的海缆目标，将分割后的RGB图像和深度图像分别传递到Rviz任务可视化单元与抓取姿态生成单元，所述DarkNet53分类网络及k-means聚类基于pytorch框架搭建，并借助TensorRT对整体目标识别网络进行推理加速以满足实时性需求。
5.根据权利要求3所述的海底电缆机械臂自主避障抓取的方法，其特征在于，步骤S3的具体方法是：
S31.抓取姿态生成单元接收来自双目摄像机图像识别单元的目标区域深度图像并将其转换为点云图，在目标点云外表面随机采样N个点作为抓取姿态中心
，对于每个抓取中心，在抓取方向半球上以角度a为步长离散化生成若干抓取姿态方向，并记录方向四元数/>
，对于每个抓取中心/>
在其抓取方向上以长度l为步长前进或后退m步生成若干抓取姿态坐标/>
，抓取姿态坐标与对应方向四元数构成候选抓取姿态；
S32.针对步骤S31得到的候选抓取姿态进行初步可行性分析，根据夹爪几何信息判断目标是否在夹爪可夹取区域及目标是否与夹爪发生碰撞，滤除目标不在可夹取区域或目标与夹爪发生碰撞的候选夹取姿态；
S33.将步骤S32筛选后的候选抓取姿态中夹爪可夹取区域内点云输入PointNetGPD网络，对每个候选抓取姿态进行打分，选取其中分数最高的候选抓取姿态作为最终抓取姿态。
6.根据权利要求3所述的海底电缆机械臂自主避障抓取的方法，其特征在于，步骤S4的具体方法是：
S41.轨迹规划及避障单元接收双目相机实时返回的深度图像并将其转换为八叉树格栅地图用于进行碰撞检测；
S42.轨迹规划及避障单元使用OMPL开源运动规划库进行轨迹规划；
S43.轨迹规划及避障单元使用OBB碰撞检测算法求解机械臂运行轨迹上的碰撞极限；
S44.轨迹规划及避障单元使用RRT快速扩展随机树算法进行避障轨迹规划。
7.根据权利要求6所述的海底电缆机械臂自主避障抓取的方法，其特征在于，步骤S41的具体方法是：轨迹规划及避障单元收接双目相机实时返回的深度图像，通过octomap包中的octomap_server节点将深度图像实时转换为八叉树格栅地图作为障碍地图用于进行碰撞检测，并使用贝叶斯准则进行实时更新：
其中，T为当前时刻，n为第n个子节点， 
为第n个子节点在T时刻存在障碍物的概率，当概率大于设定阈值时，判断该子节点为障碍，/>
为第n个子节点根据第T个时刻观测到的数据计算出的障碍物概率，/>
为第n个子节点在T-1时刻存在障碍物的概率，/>
为第n个子节点存在障碍物的先验概率，设定为0.5。
8.根据权利要求6所述的海底电缆机械臂自主避障抓取的方法，其特征在于，步骤S42的具体方法是：使用Moveit！机器人运动规划框架通过插件机制与运动规划器OMPL进行交互，调用move_group.plan(my_plan)获取机械臂几何运动规划轨迹。
9.根据权利要求6所述的海底电缆机械臂自主避障抓取的方法，其特征在于，步骤S43的具体方法是：根据机械臂的三维模型，对机械臂的所有顶点进行PCA主成分分析，求出其主轴方向、中心点和对应的边长生成机械臂的最小外接矩形，即OBB包围盒，最后计算OBB包围盒的八个顶点在八叉树地图坐标系下的位置，从而判断顶点是否在八叉树障碍地图内部，求解出碰撞极限。
10.根据权利要求6所述的海底电缆机械臂自主避障抓取的方法，其特征在于，步骤S44的具体方法是：将存在碰撞的笛卡尔空间路径规划问题转换为关节空间的路径规划问题，并将步骤S43中求得碰撞极限作为障碍约束，使用RRT快速扩展随机树算法进行关节空间的路径规划，使用三次样条插值对路径进行平滑，最后使用正运动学将轨迹从关节空间转换为笛卡尔空间，并将所述轨迹更新入步骤S42中运动规划轨迹实现避障。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310522734.5A CN116214532B (zh) | 2023-05-10 | 2023-05-10 | 一种海底电缆机械臂自主避障抓取系统及抓取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310522734.5A CN116214532B (zh) | 2023-05-10 | 2023-05-10 | 一种海底电缆机械臂自主避障抓取系统及抓取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116214532A true CN116214532A (zh) | 2023-06-06 |
| CN116214532B CN116214532B (zh) | 2023-07-14 |
Family
ID=86570110
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310522734.5A Active CN116214532B (zh) | 2023-05-10 | 2023-05-10 | 一种海底电缆机械臂自主避障抓取系统及抓取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116214532B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103057678A (zh) * | 2012-12-18 | 2013-04-24 | 浙江工业大学 | 海底生物捕捞机器人的自主导航和人机协同捕捞作业系统 |
| CN105197207A (zh) * | 2015-10-29 | 2015-12-30 | 上海海事大学 | 一种具有双目视觉的搜救水下机器人装置 |
| CN111136687A (zh) * | 2019-12-31 | 2020-05-12 | 哈尔滨工程大学 | 一种水下机器人视觉控制目标抓取测试系统与方法 |
| CN114407030A (zh) * | 2021-11-12 | 2022-04-29 | 山东大学 | 一种自主导航配网带电作业机器人及其工作方法 |
| CN115157261A (zh) * | 2022-07-27 | 2022-10-11 | 清华大学深圳国际研究生院 | 基于混合现实的柔性机械臂遥操作人机交互装置及方法 |
| CN115847491A (zh) * | 2022-11-22 | 2023-03-28 | 中国空间技术研究院 | 一种空间在轨维修机器人目标自主测量方法 |
-
2023
- 2023-05-10 CN CN202310522734.5A patent/CN116214532B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103057678A (zh) * | 2012-12-18 | 2013-04-24 | 浙江工业大学 | 海底生物捕捞机器人的自主导航和人机协同捕捞作业系统 |
| CN105197207A (zh) * | 2015-10-29 | 2015-12-30 | 上海海事大学 | 一种具有双目视觉的搜救水下机器人装置 |
| CN111136687A (zh) * | 2019-12-31 | 2020-05-12 | 哈尔滨工程大学 | 一种水下机器人视觉控制目标抓取测试系统与方法 |
| CN114407030A (zh) * | 2021-11-12 | 2022-04-29 | 山东大学 | 一种自主导航配网带电作业机器人及其工作方法 |
| CN115157261A (zh) * | 2022-07-27 | 2022-10-11 | 清华大学深圳国际研究生院 | 基于混合现实的柔性机械臂遥操作人机交互装置及方法 |
| CN115847491A (zh) * | 2022-11-22 | 2023-03-28 | 中国空间技术研究院 | 一种空间在轨维修机器人目标自主测量方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张驰;廖华丽;周军;: "基于单目视觉的工业机器人智能抓取系统设计", 机电工程, no. 03 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116214532B (zh) | 2023-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110253570B (zh) | 基于视觉的工业机械臂人机安全系统 | |
| CN110561432B (zh) | 一种基于人机共融的安全协作方法及装置 | |
| CN111563446B (zh) | 一种基于数字孪生的人-机交互安全预警与控制方法 | |
| WO2022188379A1 (zh) | 服务于电力机器人的人工智能系统及方法 | |
| CN107914272B (zh) | 一种七自由度机械臂组件抓取目标物体的方法 | |
| CN112634318B (zh) | 一种水下维修机器人的遥操作系统和方法 | |
| US11111785B2 (en) | Method and device for acquiring three-dimensional coordinates of ore based on mining process | |
| CN110480657A (zh) | 一种复杂结构环境空间机器人天地遥操作系统 | |
| CN112207835B (zh) | 一种基于示教学习实现双臂协同作业任务的方法 | |
| CN112454333B (zh) | 基于图像分割及表面肌电信号的机器人示教系统及方法 | |
| CN110223413A (zh) | 智能巡检方法、装置、计算机存储介质和电子设备 | |
| CN111144401A (zh) | 一种电厂集控室深度学习和视觉伺服的触屏控制操作方法 | |
| CN104842356A (zh) | 一种基于分布式计算与机器视觉的多码垛机器人示教方法 | |
| CN112123338A (zh) | 一种支持深度学习加速的变电站智能巡检机器人系统 | |
| CN109885091B (zh) | 一种无人机自主飞行控制方法及系统 | |
| CN114419154A (zh) | 基于视觉与人机协同的机械臂双模式控制方法及系统 | |
| CN114851209A (zh) | 一种基于视觉的工业机器人工作路径规划优化方法及系统 | |
| CN116214532B (zh) | 一种海底电缆机械臂自主避障抓取系统及抓取方法 | |
| CN116866520B (zh) | 一种基于ai的单轨吊安全运行实时监控管理系统 | |
| CN112464854A (zh) | 基于深度学习的机械隔离刀闸的状态精确判断方法及系统 | |
| Fu et al. | Vision based navigation for power transmission line inspection robot | |
| Hong et al. | Research of robotic arm control system based on deep learning and 3D point cloud target detection algorithm | |
| Gatesichapakorn et al. | ROS-based mobile robot pose planning for a good view of an onboard camera using costmap | |
| Lu et al. | Design and implement of control system for power substation equipment inspection robot | |
| CN117893933B (zh) | 一种用于输变电设备的无人巡检故障检测方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |