CN113021357A - 一种便于移动的主从水下双臂机器人 - Google Patents

Abstract

本发明适用于水下机器人遥操作技术领域，提供了一种便于移动的主从水下双臂机器人，所述主从水下双臂机器人包括：水下机器人，用于水下移动、作业和采集视频信息；显示器，用于显示水下机器人采集到的视频信息；遥操作手套，操作员通过改变遥操作手套位置和姿态控制水下机器人作业；位姿视觉检测模块，用于获取操作员双手的位置和姿态数据；控制端，用于建立三维模型虚拟场景，并且对操作员双手的位姿数据进行处理；其中，水下机器人包括作业型无人潜水器和机械臂；作业型无人潜水器，用于水下移动，并形成安装主体；机械臂，对置的设置在作业型无人潜水器上，端部连接作业部件，用于形成驱动弯折结构。

Description

一种便于移动的主从水下双臂机器人

技术领域

本发明属于水下机器人遥操作技术领域，尤其涉及一种便于移动的主从水下双臂机器人。

背景技术

近年来，人类加大了对海洋资源的探索和开发。由于海洋环境复杂多变，人类无法直接深入水下进行探索，只能借助机器人对海洋进行探索。目前的水下机器人通常采用在水下机器人平台上搭载机械臂的方法，由于水下机器人控制方法的不完善，目前的水下机器人只能在水下执行一些简单、具有重复性的作业任务。针对水下复杂的作业，只能靠人工辅助进行作业，现有的遥操作模式大多为操作员在操作端通过二维监控屏幕了解水下作业环境的工况，操作员很难准确判断水下各部件的空间位置关系。同时操作员通过操纵杆或者控制手柄对机器人实现实时控制，机器人通过完全复制人类的动作，完成作业。这种利用操纵杆或者操纵手柄对机器人进行控制的方式，交互模式专业性强、沉浸式体验感差、操作难度大，并且存在误操作的可能性。对于未经过培训的操作员来说难以上手，并且极大的操作难度对长时间进行操控的操作员来说，对其身心也是一个极大的挑战。

发明内容

本发明实施例的目的在于提供一种便于移动的主从水下双臂机器人，利用可穿戴设备通过远程手势控制的方法对水下机器人实现控制，增强遥操作的交互性和沉浸感，降低操作难度。

本发明是这样实现的，一种便于移动的主从水下双臂机器人，所述主从水下双臂机器人包括：

水下机器人，用于水下移动、作业和采集视频信息；

遥操作手套，操作员通过改变操作员所佩戴遥操作手套的位置和姿态控制水下机器人作业；

位姿视觉检测模块，用于获取操作员双手的位置和姿态数据；

控制端，接受采集视频信息，用于建立三维模型虚拟场景，并且对操作员双手的位姿数据进行处理；

显示器，用于显示水下三维模型虚拟场景；

其中，水下机器人包括作业型无人潜水器和机械臂；

作业型无人潜水器，用于水下移动，并形成安装主体；

机械臂，对置的连接作业型无人潜水器，非连接端端部连接作业部件，用于形成驱动弯折结构。

其中，水下机器人获取水下环境视频图像信息并传递给控制端，控制端利用视频图像信息建立三维模型虚拟场景，并将三维场景通过显示器显示，操作员双手佩戴遥操作手套进行虚拟化操作，位姿视觉检测模块捕捉操作员双手的位置和姿态变化数据，将位置和姿态变化数据传输到控制端，控制端将位置和姿态变化数据变化转换为机械臂各关节的运动指令，水下机器人接收到运动指令后，执行相应动作，实现水下机器人双臂与操作员双臂动作跟随。

在本发明实施例中，将水下机器人放置在水中，并控制水下机器人移动，水下机器人获取水下视频图像信息并传递给控制端，控制端将视频图像信息构建三维模型虚拟场景并显示在显示器上，操作员双手佩戴遥操作手套，操作员观察到显示器上的视频信息，双手进行虚拟化操作，从而使遥操作手套处于不同位置和和姿态，位姿视觉检测模块捕捉操作员双手的位置和姿态变化数据，并将位置和姿态变化数据传输到控制端，控制端根据自研双臂协调的机械臂逆运动学算法，将位置和姿态变化数据变化转换为机械臂各关节的运动指令，并将运动指令传送给水下机器人，水下机器人接收到运动指令后，执行相应动作进行作业。实现水下机器人的主从遥操作控制。操作员利用可穿戴遥操作手套通过远程手势控制的方法对水下机器人实现控制，增强遥操作的交互性和沉浸感，降低操作难度，提高了作业的效率，同时便于精确控制，代入感强，通过两个机械臂协调作业，作业方便，符合人类操作习惯，作业顺畅性好。其中双臂协作的布置方式类似人的双臂的布置。这种布置结构与人类使用双臂习惯相同，可以降低操作难度，提高作业效率。本发明优点：结构简单，符合人类操作习惯、操作方便，简单紧凑、运动精度高，控制难度小。

附图说明

图1为本发明实施例提供的一种便于移动的主从水下双臂机器人中水下机器人的立体结构图；

图2为本发明实施例提供的一种便于移动的主从水下双臂机器人的远程手势控制流程框图；

图3为本发明实施例提供的一种便于移动的主从水下双臂机器人中遥操作手套和位姿视觉检测模块3结构示意图；

图4为本发明实施例提供的一种便于移动的主从水下双臂机器人3D虚拟场景建立流程图；

图5为本发明实施例提供的一种便于移动的主从水下双臂机器人位姿数据传输图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述。

如图1、2、4、5所示，为本发明实施例提供的一种便于移动的主从水下双臂机器人的结构图，包括：

水下机器人1，用于水下移动、作业和采集视频信息；

显示器，用于显示水下机器人 1采集视频图像信息；

遥操作手套4，通过改变位置和姿态控制水下机器人 1作业；

位姿视觉检测模块3，用于获取佩戴遥操作手套4的操作员双手的位置和姿态数据；

控制端，用于建立三维模型虚拟场景，并且对操作员双手的位姿数据进行处理；

其中，水下机器人1包括作业型无人潜水器和机械臂；

作业型无人潜水器，用于潜水行走，并形成安装主体；

机械臂，对置的设置在作业型无人潜水器上，端部连接作业部件，用于形成驱动弯折结构；

其中，水下机器人1获取水下视频图像信息并传递给控制端，控制端将视频信息建立三维模型虚拟场景并显示在显示器上，操作员5双手佩戴遥操作手套4进行虚拟化操作，位姿视觉检测模块3捕捉操作员5双手的位置和姿态变化数据，将位置和姿态变化数据传输到控制端，控制端根据自研双臂协调的机械臂逆运动学算法，将位置和姿态变化数据变化转换为机械臂各关节的运动指令，水下机器人1接收到运动指令后，执行相应动作。实现水下机器人的主从遥操作控制，实现操作员5双臂和行走器双臂的动作跟随。

在本发明实施例中，将水下机器人1放置在水中，并控制水下机器人1移动，水下机器人1获取水下视频信息并传递给控制端，控制端将视频信息建立三维模型虚拟场景并显示在显示器上，操作员5双手佩戴遥操作手套4，操作员5观察到显示器上的视频图像信息，双手进行虚拟化操作，从而使遥操作手套4处于不同位置和和姿态，位姿视觉检测模块3捕捉佩戴遥操作手套4的操作员双手的位置和姿态变化数据，并将位置和姿态变化数据传输到控制端，控制端根据自研双臂协调的机械臂逆运动学算法，将位置和姿态变化数据转换为机械臂各关节的运动指令，并将运动指令传送给水下机器人1，水下机器人1接收到运动指令后，执行相应动作进行作业。实现水下机器人的主从遥操作控制。操作员5利用可穿戴遥操作手套4通过远程手势控制的方法对水下机器人实现控制，增强遥操作的交互性和沉浸感，降低操作难度，提高了作业的效率，同时便于精确控制，代入感强，通过两个机械臂协调作业，作业方便，符合人类操作习惯，作业顺畅性好。当然还可以通过佩戴手腕、感应片等进行操控，其作用原理相同，在此不做赘述。

在本发明的一个实例中，两个机械臂均采用伺服电机和液压缸混合驱动的5自由度机械臂，用于在水下执行物体抓取、剪绳索、水下勘探采样等作业。通过5自由度机械臂控制，与人体肩部、大臂、小臂、手腕、手指自由度一致，控制方便精确。当然还可以是其他的自由控制，在此不做赘述。机械臂可以包括电动驱动器、机械大臂、一级模型液压缸、机械小臂、二级模型液压缸、夹持器和末端密封电机；电动驱动器安装在作业型无人潜水器上并转动连接有机械大臂，一级模型液压缸的两端分别转动连接在电动驱动器和机械大臂上，机械小臂转动连接在机械大臂上；二级模型液压缸的两端分别转动连接在机械小臂和机械大臂上，机械小臂的端部转动连接夹持器，转动连接在机械小臂上；末端密封电机安装在机械小臂上，并与夹持器连接；通过电动驱动器驱动机械大臂周向转动，一级模型液压缸驱动机械大臂角度弯折转动，二级模型液压缸驱动机械小臂角度弯折转动，末端密封电机驱动夹持器周向转动，以及夹持器的夹持控制，从而实现了5自由度的机械臂。使机械臂类似手臂作业。使手势控制灵活。水下机器人 1上可以设置有推进器，通过手势进行控制、前进方向和升降。水下机器人 1通过光纤进行数据传输。控制端为电脑、控制平台等在此不做赘述。当然5自由度适用人体力学结构，考虑到实际作业可以增加自由度操作，例如增加伸缩长度调整等；还可以缩减自由度操作，例如夹持器无法转动等，在此不做赘述。

作为本发明的一种优选实施例，水下机器人1上设置有光纤传输模块，通过光纤传输模块与控制端进行数据传输和交互通信，从而便于水下机器人1的灵便作业。当然并不排除4G、5G、蓝牙等无线传输。

作为本发明的一种优选实施例，水下机器人1上设置有光纤传输模块进行数据传输，水下作业区域实景信息为多个水下专业相机返回的帧图像和视频流数据。通过光纤传输模块将图像数据传输至控制端，控制端建立三维模型虚拟场景实时显示作业区域的现场实景信息。光纤传输模块传输数据稳定。

如图3所示，作为本发明的一种优选实施例，位姿视觉检测模块3包括姿态捕捉相机和支撑架，支撑架，用于支撑和安装；姿态捕捉相机，安装在支撑架上，用于捕捉遥操作手套4图像，并通过图像获取位置和姿态数据。姿态捕捉相机处于操作员5的上方，从而使姿态捕捉相机从上方进行捕捉。从而便于获取操作员双手的位置和姿态数据。当然并不排除位姿视觉检测模块3的其他结构，例如安装在建筑物的顶部等。

作为本发明的一种优选实施例，显示器为AR全息眼镜，AR全息眼镜用于对水下环境进行全面感知，与现实配合，可以进行全面感知作业。便于操作员佩戴，以进一步提高施工、提升施工安全管控水平。显示器并不排除全息投影设置，在此不做赘述。

作为本发明的另一种优选实施例，显示器还包括二维显示屏，通过二维显示屏进行显示，便于观看人员更轻松获取影响，二维显示屏与AR全息眼镜配合，使水下环境图像显示更加全面。二维显示屏可以是电视、投影仪等。

作为本发明的一种优选实施例，通过位姿视觉检测模块3实时获取佩戴遥操作手套4操作员5双臂的位姿运动数据在笛卡尔坐标下的三维坐标。坐标原点位于遥操作手套4三轴的交点处，沿可穿戴遥操作手套4短轴的方向为X轴，沿另一与短轴成90°夹角的长轴方向为Y轴，与夹角的长轴和短轴均垂直的方向为Z轴。位姿视觉检测模块3实时将操作员5双臂运动的图像实时传输到控制端，控制端利用位姿识别算法求解出双臂的位姿运动数据在笛卡尔坐标下的三维坐标。双臂的位姿运动数据集D = {(p₁ ^d,p₁ ⁿ,q₁ ^d,q₁ ⁿ), (p₂ ^d,p₂ ⁿ,q₂ ^d,q₂ ⁿ),…, (p_t ^d,p_t ⁿ,q_t ^d,q_t ⁿ)}

其中：p_t ^d,p_t ⁿ,q_t ^d,q_t ⁿ分别代表在时间t时，操作员惯用手和非惯用手的位置和方位。

作为本发明的一种优选实施例，控制端利用位姿视觉检测模块3采集到的信息进行算法处理后得到操作员双臂运动的角度和位移，将得出的角度和位移值作为输入量，转换为水下机器人 1的机械臂各关节的运动角度和位移，然后通过TCP/IP通信协议访问行走器的Raspberry Pi的IP地址，将转换后的各关节角度和位移指令发送到各关节的控制器、控制阀等。控制器、控制阀等通过控制机械臂各关节的伺服电机、液压缸实现操作员双臂和水下机器人双臂的动作跟随。

本发明上述实施例中提供了一种便于移动的主从水下双臂机器人，操作员5利用可穿戴遥操作手套4通过远程手势控制的方法对水下机器人实现控制，增强遥操作的交互性和沉浸感，降低操作难度，提高了作业的效率，同时便于精确控制，代入感强，通过两个机械臂协调作业，作业方便，符合人类操作习惯，作业顺畅性好。通过5自由度机械臂控制，与人体肩部、大臂、小臂、手腕、手指自由度一致，控制方便精确。AR全息眼镜用于对水下环境进行全面感知，与现实配合，可以进行全面感知作业。便于操作员佩戴，以进一步提高施工、提升施工安全管控水平。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种便于移动的主从水下双臂机器人，其特征在于，所述主从水下双臂机器人包括：

水下机器人，用于水下移动、作业和采集视频信息；

遥操作手套，操作员通过改变操作员所佩戴遥操作手套的位置和姿态控制水下机器人作业；

位姿视觉检测模块，用于获取操作员双手的位置和姿态数据；

控制端，接受采集视频信息，用于建立三维模型虚拟场景，并且对操作员双手的位姿数据进行处理；

显示器，用于显示水下三维模型虚拟场景；

其中，水下机器人包括作业型无人潜水器和机械臂；

作业型无人潜水器，用于水下移动，并形成安装主体；

机械臂，对置的连接作业型无人潜水器，非连接端端部连接作业部件，用于形成驱动弯折结构。

2.根据权利要求1所述的一种便于移动的主从水下双臂机器人，其特征在于，所述机械臂采用伺服电机和液压缸混合驱动的5自由度机械臂。

3.根据权利要求2所述的一种便于移动的主从水下双臂机器人，其特征在于，所述机械臂包括电动驱动器、机械大臂、一级模型液压缸、机械小臂、二级模型液压缸、夹持器和末端密封电机；电动驱动器安装在作业型无人潜水器上并转动连接有机械大臂，一级模型液压缸的两端分别转动连接在电动驱动器和机械大臂上，机械小臂转动连接机械大臂；二级模型液压缸的两端分别转动连接机械小臂和机械大臂，机械小臂的端部转动连接夹持器，转动连接机械小臂；末端密封电机安装在机械小臂上，并与夹持器连接。

4.根据权利要求1所述的一种便于移动的主从水下双臂机器人，其特征在于，所述水下机器人通过光纤传输模块与控制端进行数据传输和交互通信。

5.根据权利要求4所述的一种便于移动的主从水下双臂机器人，其特征在于，所述光纤传输模块为Raspberry Pi。

6.根据权利要求1所述的一种便于移动的主从水下双臂机器人，其特征在于，所述位姿视觉检测模块包括姿态捕捉相机和支撑架，姿态捕捉相机安装在支撑架上，用于捕捉遥操作手套图像，并通过图像获取操作员双手位置和姿态数据。

7.根据权利要求1所述的一种便于移动的主从水下双臂机器人，其特征在于，所述位姿视觉检测模块从操作员上方捕捉操作员双手的位置和姿态。

8.根据权利要求1所述的一种便于移动的主从水下双臂机器人，其特征在于，所述显示器为AR全息眼镜。

9.根据权利要求8所述的一种便于移动的主从水下双臂机器人，其特征在于，所述显示器还包括二维显示屏。

10.根据权利要求1-9任一所述的一种便于移动的主从水下双臂机器人，其特征在于，所述位姿视觉检测模块实时获取操作员双手的位姿运动数据在笛卡尔坐标下的三维坐标，坐标原点位于遥操作手套三轴的交点处，沿遥操作手套短轴的方向为X轴，沿与短轴成90°夹角的长轴方向为Y轴，与夹角的长轴和短轴均垂直的方向为Z轴，控制端利用位姿识别算法求解出双臂的位姿运动数据在笛卡尔坐标下的三维坐标，双臂的位姿运动数据集D={(p₁ ^d,p₁ ⁿ,q₁ ^d,q₁ ⁿ), (p₂ ^d,p₂ ⁿ,q₂ ^d,q₂ ⁿ),…, (p_t ^d,p_t ⁿ,q_t ^d,q_t ⁿ)}

其中：p_t ^d,p_t ⁿ,q_t ^d,q_t ⁿ分别代表在时间t时，操作员惯用手和非惯用手的位置和方位。

Images