CN110308797A - 基于体感技术机械臂与虚拟现实技术的水下机器人环境交互系统 - Google Patents
基于体感技术机械臂与虚拟现实技术的水下机器人环境交互系统 Download PDFInfo
- Publication number
- CN110308797A CN110308797A CN201910612591.0A CN201910612591A CN110308797A CN 110308797 A CN110308797 A CN 110308797A CN 201910612591 A CN201910612591 A CN 201910612591A CN 110308797 A CN110308797 A CN 110308797A
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- user
- underwater robot
- environment
- underwater
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Manipulator (AREA)
Abstract
本发明公开连一种基于体感技术机械臂与虚拟现实技术的水下机器人环境交互系统，属于水下机器人与水下航行器领域。该系统包括双目鱼眼摄像头，机械臂系统，数据手套系统，VR眼镜；所述的双目鱼眼摄像头与机械臂系统搭载在水下航行器平台上，为整个系统的环境交互部分。VR眼镜与数据手套系统为用户端；双目鱼眼摄像头为水下机器人的环境观测设备，主要负责水下机器人的图像信息采集；机械臂系统为水下机器人的主要环境交互设备，主要负责水下机器人的环境交互与相关作业。VR眼镜为用户的图像接收设备，主要负责用户携带之后对环境进行观测。数据手套作为用户的手部动作接收设备，负责对用户手部的动作信息进行接收。本发明使用体感技术与虚拟现实技术结合，使机器实时模拟人的操作模式，且为用户呈现出较为真实的水下环境与真实的控制体验。
Description
所属领域
本发明是涉及水下机器人与水下航行器领域，特别是水下机器人与环境的交互方法。
背景技术
水下无人航行器UUV(Unmaned Undersea Vehicle)由于其成本低、安全等优势在现如今科技飞速发展的大环境下也拥有一个很好的发展前景和很大的发展空间。在二战结束以后，欧美等发达国家在军事方面就开始针对其侦察、挂载以及用作标靶等功能进行开发，并且军用与民用相结合开发其经济价值，如今也在多方面取得较大的进步。而在我国，水下航行器也取得了不小的成就，通过航行器与潜水艇的配合可以达成较好的战略效果。
水下无人航行器UUV主要包括遥控航行器ROV(Remotely Operated Vehicle)和自主式水下航行器AUV(Autonomous Underwater Vehicle)。而对于前者则需要涉及到操作员与航行器之间的互动。本文主要研究对于人机交互之间的信息传输优化问题。传统的图像传递方式大多是通过水下摄像头以及探照灯获取环境图像，并通过有线电缆进行图像传输。而后再利用平台进行图像处理以获取所需要的信息。为了增强操作者对视觉环境的深刻把握以及对水下环境更多因素、信息的汲取，本文利用体感交互技术与水下航行器相结合的方式进行对水下信息的汲取和视觉的控制。通过查阅资料，发现该种方式在国内还属空白，进行详细分析。
参考文献：
水下无人航行器发展研究 西北工业大学 李波 2001年10月
自主水下航行器的光视觉认知技术研究 哈尔滨工程大学 王博 2017年3月
基于DSP的水下移动平台图像处理系统研究 燕山大学 张泽
国外海洋无人航行器的发展现状及趋势 代威1，张雯2，张沥1，解春雷1，惠俊鹏1(1.中国运载火箭技术研究院研究发展中心，北京100076；2.北京宇航系统工程研究所，北京 100076)
战用无人系统的现状与发展趋势 水雷战与舰船防护(期刊) 2014年11月
发明内容
发明目的
在水下高精度操作中，由于水下环境的不确定性与环境干扰较大，使水下机器人在使用传统摄像头时，观测效果不好。并且使用机械臂操作时，控制较为复杂且不直观，使前时也需要大量练习，操作也易失误。本发明目的是让控制者更加直观，全面的观测水下环境，让控制者身临其境。操作机械臂时更加简便且完全直观的进行指定操作，且更加容易上手操作。
由于水下环境的不确定性与干扰较大，人员下水作业的危险性，为了解决用户对水下机器人机械臂控制较难，水下机器人对环境的观测较难。本发明通过使用全景摄像头与VR眼镜作为水下机器人的环境观测设备与用户的显示设备，使用户可以360度的查看水下环境，且更加直观的沉浸式观测。通过，使用数据手套记录控制者手部的动作并使用机械臂进行模拟，使用户对机械臂的控制更加的简便，无需专业培训即可操作。
技术方案
本发明所涉及的技术方案是：基于体感技术机械臂与虚拟现实技术的水下机器人环境交互系统，包括双目鱼眼摄像头，机械臂系统，数据手套系统，VR眼镜；所述的双目鱼眼摄像头与机械臂系统搭载在水下航行器平台上，为整个系统的环境交互部分。VR眼镜与数据手套系统为用户端；双目鱼眼摄像头为水下机器人的环境观测设备，主要负责水下机器人的图像信息采集；机械臂系统为水下机器人的主要环境交互设备，主要负责水下机器人的环境交互与相关作业。VR眼镜为用户的图像接收设备，主要负责用户携带之后对环境进行观测。数据手套作为用户的手部动作接收设备，负责对用户手部的动作信息进行接收。
双目鱼眼摄像头采集环境的图像信息，通过采集环境的360度全方位信息，经过机载计算机处理后将其通过零浮力电缆传输给用户佩戴的VR眼镜，让用户通过VR眼镜，直观的对水下环境进行观测，将双目鱼眼摄像头采集到的图像信息，也可以储存起来，随时在多个终端进行播放。同时，用户进行水下环境交互时，手部的相关动作通过使用数据手套系统进行记录，并传输给水下机器人平台上搭载的机械臂，通过机械臂模拟用户手部动作，来进行相关作业。
数据手套为用户可穿戴设备，可以使用柔性材料制作，使用柔性电极对用户手部关节动作进行捕捉，或者可以使用5个电位器捕捉5个指关节信息，同时使用一个加速度计捕捉手部倾角信息。数据手套将捕捉到用户的手部动作信息经过单片机处理之后通过零浮力线传递给机械臂系统的计算机进行处理，做出响应。机械臂系统设计为人手形状，主要由防水舵机，控制板，机械臂机械部分组成，使用5个防水舵机去对5个指关节的机械结构进行控制，使用一个防水舵机使机械臂可以沿中轴线进行转动，使用一个防水电机带动拉杆可以使机械臂在水下进行距离调节。从而实现机械臂模拟用户手部动作对环境进行交互。
同时针对技术在水下这一特殊环境的应用，还需添加一系列的机构保证其在液体包围的环境中可以达到与空气中相同的效果。首先，是水下部分的密封问题。对不需要经常拆卸的部位采用密封胶密封，其他部位如机械臂进行动密封附议防水工程材料，保证机械臂的正常运行并可以有效地防止密封圈密封带来的老化问题。然后，是水下压力情况的影响，对于压力的影响采取直接提取并反馈的方式增强现实性。压力作为一个环境中的参数，可以直接被数据手套上的电位器捕捉获取压力信息，并且同时反馈给操作员手部，压力的存在及直接反馈的方式使周围环境的模拟情况、真实程度得以提高，促进了操作者的真实感。最后，本项目所使用双目鱼眼摄像头作为环境图像采集设备，也是为了水下这种特殊环境所选择的。其观测范围可以覆盖方位角360度，俯仰角90度的环境，将摄像头安装在水密舱内，在周围使用多个探照灯，可对水下环境图像信息进行较为稳定的获取。采集到水下环境图像信息之后，使用计算机对水下环境信息进行处理，得到水下环境的深度信息，将其通过零浮力线发送给地面站，通过VR眼镜呈现给用户，让用户进行观测。
有益效果
为了实现使水下航行器对水下环境更全面更好的记录与控制优化，本发明使用体感技术与虚拟现实技术结合，使机器实时模拟人的操作模式，且为用户呈现出较为真实的水下环境与真实的控制体验。
在用户端使用VR眼镜为控制者呈现出水下环境，使用VR眼镜相比于传统屏幕，有更好的观测体验与细节优势。全景摄像头可以对环境进行360°环境捕捉，保证了接收信息的完整性。
而在操作者对机械臂的控制借助数据手套获取操作者灵活多变的手势及空间方位进行追踪，可以更好地将操作者的意识传送至机械臂，从而使水下机器人上的机械臂可以几乎完全模仿控制者的手部运动，以这样的方式实现控制可以良好的给操作者反馈环境中的情况，也使机械臂控制更加简便。通过使用数据手套也可以对机械臂在控制细节上进行调整，从而实现精度更高的操作。
附图说明
图1为实施例所描述的为本系统基本工作流程图，展示了控制者发出动作信息后的处理过程与水下环境信息通过VR眼镜呈现给用户的过程。
图2为实施例中的基本构架图，包括水下机器人上搭载的部分与地面站搭载的部分。
具体实施方式
本实例是一种水下无人设备维修系统，通过在传统的水下机器人平台上搭载该系统，更好的实现水下设备维修功能。由水下机器人框架平台，载压块，水密舱，水下机器人航电，电机，电池，传统摄像头，全景摄像头，仿生机械手组成。地面站部分额外增加VR眼镜模块。使用仿生手作为机械臂，机械臂由多个防水舵机构成，负责机械臂的指关节活动与机械臂整体的姿态调整。
相关技术人员在地面站控制水下无人机平台接近所需检修的水下设备，先使用传统摄像头接近设备，大致确定需检修的设备位置。通过使用全景摄像头拍摄设备的图像信息，经过处理将其通过水下航行器的机载计算机传递给地面站，通过VR眼镜呈现给相关技术人员。相关技术人员通过使用数据手套将其手部的运动记录并通过地面站传递给水下机器人平台，并通过机械臂模拟出操作人员手部的运动，从而进行检修。使技术人员简单方便，快捷的进行相关的操作。
Claims (3)
1.基于体感技术机械臂与虚拟现实技术的水下机器人环境交互系统，其特征在于，包括双目鱼眼摄像头，机械臂系统，数据手套系统，VR眼镜；所述的双目鱼眼摄像头与机械臂系统搭载在水下航行器平台上，为整个系统的环境交互部分。VR眼镜与数据手套系统为用户端；双目鱼眼摄像头为水下机器人的环境观测设备，主要负责水下机器人的图像信息采集；机械臂系统为水下机器人的主要环境交互设备，主要负责水下机器人的环境交互与相关作业。VR眼镜为用户的图像接收设备，主要负责用户携带之后对环境进行观测。数据手套作为用户的手部动作接收设备，负责对用户手部的动作信息进行接收；
所述双目鱼眼摄像头采集环境的图像信息，通过采集环境的360度全方位信息，经过机载计算机处理后将其通过零浮力电缆传输给用户佩戴的VR眼镜，让用户通过VR眼镜，直观的对水下环境进行观测，将双目鱼眼摄像头采集到的图像信息，也可以储存起来，随时在多个终端进行播放。同时，用户进行水下环境交互时，手部的相关动作通过使用数据手套系统进行记录，并传输给水下机器人平台上搭载的机械臂，通过机械臂模拟用户手部动作，来进行相关作业；
所述数据手套为用户可穿戴设备，使用柔性材料制作，使用柔性电极对用户手部关节动作进行捕捉，或者使用5个电位器捕捉5个指关节信息，同时使用一个加速度计捕捉手部倾角信息；数据手套将捕捉到用户的手部动作信息经过单片机处理之后通过零浮力线传递给机械臂系统的计算机进行处理，做出响应；机械臂为人手形状，主要由防水舵机，控制板，机械臂机械部分组成，使用5个防水舵机去对5个指关节的机械结构进行控制，使用一个防水舵机使机械臂可以沿中轴线进行转动，使用一个防水电机带动拉杆可以使机械臂在水下进行距离调节。从而实现机械臂模拟用户手部动作对环境进行交互。
2.基于体感技术机械臂与虚拟现实技术的水下机器人环境交互系统，其特征在于，对不需要经常拆卸的部位采用密封胶密封，其他部位如机械臂进行动密封附议防水工程材料，保证机械臂的正常运行并可以有效地防止密封圈密封带来的老化问题。
3.基于体感技术机械臂与虚拟现实技术的水下机器人环境交互系统，其特征在于，水下压力作为一个环境中的参数，直接被数据手套上的电位器捕捉获取压力信息，并且同时反馈给操作员手部。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910612591.0A CN110308797A (zh) | 2019-07-09 | 2019-07-09 | 基于体感技术机械臂与虚拟现实技术的水下机器人环境交互系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910612591.0A CN110308797A (zh) | 2019-07-09 | 2019-07-09 | 基于体感技术机械臂与虚拟现实技术的水下机器人环境交互系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110308797A true CN110308797A (zh) | 2019-10-08 |
Family
ID=68077921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910612591.0A Pending CN110308797A (zh) | 2019-07-09 | 2019-07-09 | 基于体感技术机械臂与虚拟现实技术的水下机器人环境交互系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110308797A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111612172A (zh) * | 2020-04-28 | 2020-09-01 | 中国东方电气集团有限公司 | 一种智慧电厂展示系统 |
| CN112276923A (zh) * | 2020-10-20 | 2021-01-29 | 顺德职业技术学院 | 一种基于增强现实的人机协作机器人调试系统 |
| CN112332878A (zh) * | 2020-10-28 | 2021-02-05 | 维沃移动通信有限公司 | 运行轨迹调整方法、装置和电子设备 |
| CN112445232A (zh) * | 2020-06-23 | 2021-03-05 | 国网浙江温岭市供电有限公司 | 一种便携式体感控制自主巡检机器人 |
| CN112634318A (zh) * | 2020-12-31 | 2021-04-09 | 中国海洋大学 | 一种水下维修机器人的遥操作系统和方法 |
| CN113093914A (zh) * | 2021-04-21 | 2021-07-09 | 广东电网有限责任公司电力科学研究院 | 一种基于vr的高临场视觉感知方法及装置 |
| CN113763597A (zh) * | 2021-09-09 | 2021-12-07 | 中国人民解放军92578部队 | 一种用于水下机器人的记录装置 |
| CN115412722A (zh) * | 2022-08-16 | 2022-11-29 | 中国检验认证集团河北有限公司 | 无人水尺观测系统、方法及装置 |
| CN115657474A (zh) * | 2022-10-10 | 2023-01-31 | 北京航空航天大学杭州创新研究院 | 一种针对人机协同运输的飞行机械臂柔性交互控制方法 |
| CN115981178A (zh) * | 2022-12-19 | 2023-04-18 | 广东若铂智能机器人有限公司 | 一种鱼类水产宰杀的仿真系统及方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106393049A (zh) * | 2015-08-12 | 2017-02-15 | 哈尔滨理工大学 | 一种用于高危作业的机器人 |
| CN106995047A (zh) * | 2017-01-09 | 2017-08-01 | 西北工业大学 | 一种多功能智能水下机器人 |
| CN107340853A (zh) * | 2016-11-18 | 2017-11-10 | 北京理工大学 | 一种基于虚拟现实与手势识别的远程呈现交互方法和系统 |
| CN107471216A (zh) * | 2017-08-08 | 2017-12-15 | 陆兴华 | 危险环境下的vr体控机器人 |
| CN107703950A (zh) * | 2017-10-30 | 2018-02-16 | 燕山大学 | 一种利用体感控制的水下机器人及控制方法 |
| CN107968915A (zh) * | 2017-12-04 | 2018-04-27 | 国网山东省电力公司电力科学研究院 | 水下机器人摄像机云台实时控制系统及其方法 |
| CN108363415A (zh) * | 2018-03-29 | 2018-08-03 | 燕山大学 | 一种应用于水下机器人的视觉远程控制随动系统及方法 |
| CN109571513A (zh) * | 2018-12-15 | 2019-04-05 | 华南理工大学 | 一种沉浸式移动抓取服务机器人系统 |
-
2019
- 2019-07-09 CN CN201910612591.0A patent/CN110308797A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106393049A (zh) * | 2015-08-12 | 2017-02-15 | 哈尔滨理工大学 | 一种用于高危作业的机器人 |
| CN107340853A (zh) * | 2016-11-18 | 2017-11-10 | 北京理工大学 | 一种基于虚拟现实与手势识别的远程呈现交互方法和系统 |
| CN106995047A (zh) * | 2017-01-09 | 2017-08-01 | 西北工业大学 | 一种多功能智能水下机器人 |
| CN107471216A (zh) * | 2017-08-08 | 2017-12-15 | 陆兴华 | 危险环境下的vr体控机器人 |
| CN107703950A (zh) * | 2017-10-30 | 2018-02-16 | 燕山大学 | 一种利用体感控制的水下机器人及控制方法 |
| CN107968915A (zh) * | 2017-12-04 | 2018-04-27 | 国网山东省电力公司电力科学研究院 | 水下机器人摄像机云台实时控制系统及其方法 |
| CN108363415A (zh) * | 2018-03-29 | 2018-08-03 | 燕山大学 | 一种应用于水下机器人的视觉远程控制随动系统及方法 |
| CN109571513A (zh) * | 2018-12-15 | 2019-04-05 | 华南理工大学 | 一种沉浸式移动抓取服务机器人系统 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111612172A (zh) * | 2020-04-28 | 2020-09-01 | 中国东方电气集团有限公司 | 一种智慧电厂展示系统 |
| CN112445232A (zh) * | 2020-06-23 | 2021-03-05 | 国网浙江温岭市供电有限公司 | 一种便携式体感控制自主巡检机器人 |
| CN112276923A (zh) * | 2020-10-20 | 2021-01-29 | 顺德职业技术学院 | 一种基于增强现实的人机协作机器人调试系统 |
| CN112332878A (zh) * | 2020-10-28 | 2021-02-05 | 维沃移动通信有限公司 | 运行轨迹调整方法、装置和电子设备 |
| CN112634318A (zh) * | 2020-12-31 | 2021-04-09 | 中国海洋大学 | 一种水下维修机器人的遥操作系统和方法 |
| CN113093914B (zh) * | 2021-04-21 | 2022-10-28 | 广东电网有限责任公司电力科学研究院 | 一种基于vr的高临场视觉感知方法及装置 |
| CN113093914A (zh) * | 2021-04-21 | 2021-07-09 | 广东电网有限责任公司电力科学研究院 | 一种基于vr的高临场视觉感知方法及装置 |
| CN113763597A (zh) * | 2021-09-09 | 2021-12-07 | 中国人民解放军92578部队 | 一种用于水下机器人的记录装置 |
| CN115412722A (zh) * | 2022-08-16 | 2022-11-29 | 中国检验认证集团河北有限公司 | 无人水尺观测系统、方法及装置 |
| CN115657474A (zh) * | 2022-10-10 | 2023-01-31 | 北京航空航天大学杭州创新研究院 | 一种针对人机协同运输的飞行机械臂柔性交互控制方法 |
| CN115657474B (zh) * | 2022-10-10 | 2024-05-24 | 北京航空航天大学杭州创新研究院 | 一种针对人机协同运输的飞行机械臂柔性交互控制方法 |
| CN115981178A (zh) * | 2022-12-19 | 2023-04-18 | 广东若铂智能机器人有限公司 | 一种鱼类水产宰杀的仿真系统及方法 |
| CN115981178B (zh) * | 2022-12-19 | 2024-05-24 | 广东若铂智能机器人有限公司 | 一种鱼类水产宰杀的仿真系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110308797A (zh) | 基于体感技术机械臂与虚拟现实技术的水下机器人环境交互系统 | |
| CN106393049B (zh) | 一种用于高危作业的机器人 | |
| CN106882347B (zh) | 六自由度水下机器人 | |
| CN109129523B (zh) | 基于人机交互的移动机器人实时远程控制系统 | |
| CN106125747A (zh) | 基于vr交互的无人机机载第一视角随动吊舱系统 | |
| CN104777845B (zh) | 水下机器人的水下本体装置及自主避障方法 | |
| CN202763840U (zh) | 一种基于图像处理的自主控制水下机器人 | |
| CN106695748A (zh) | 一种双机械臂带电作业机器人 | |
| CN106995047A (zh) | 一种多功能智能水下机器人 | |
| CN112208717A (zh) | 海上多功能智能打捞系统 | |
| CN109164829A (zh) | 一种基于力反馈装置和vr感知的飞行机械臂系统及控制方法 | |
| CN106781371A (zh) | 一种水下无人船的通信系统 | |
| CN107924638A (zh) | 用于云台模拟的系统和方法 | |
| CN111186542A (zh) | 一种水下作业机器人 | |
| WO2019000855A1 (zh) | 一种半潜式小型无人艇集成控制系统 | |
| CN206601787U (zh) | 一种水下无人船的通信系统 | |
| CN106737547A (zh) | 一种带电作业机器人 | |
| CN106814735A (zh) | 一种无人船的控制系统 | |
| CN113021357A (zh) | 一种便于移动的主从水下双臂机器人 | |
| CN107416156A (zh) | 倾转短舱水下遥控潜艇的控制系统及其方法 | |
| CN106477008B (zh) | 一种三体流线型自主作业水下机器人平台 | |
| CN106882348B (zh) | 高海况下完成事故船与救援船对接的系统 | |
| CN204642104U (zh) | 一种智能水下物证打捞装置 | |
| CN106864706B (zh) | 智能水下工作平台及实施方法 | |
| CN108145688B (zh) | 一种公共安全移动机器人系统及公共安全移动机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20191008 |