CN113050449A - 一种有缆水下作业机器人仿真系统 - Google Patents
一种有缆水下作业机器人仿真系统 Download PDFInfo
- Publication number
- CN113050449A CN113050449A CN202110295619.XA CN202110295619A CN113050449A CN 113050449 A CN113050449 A CN 113050449A CN 202110295619 A CN202110295619 A CN 202110295619A CN 113050449 A CN113050449 A CN 113050449A
- Authority
- CN
- China
- Prior art keywords
- robot
- simulation
- underwater
- control mode
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 125
- 230000033001 locomotion Effects 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000008569 process Effects 0.000 claims abstract description 32
- 230000000694 effects Effects 0.000 claims abstract description 26
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 230000003068 static effect Effects 0.000 claims abstract description 11
- 230000003993 interaction Effects 0.000 claims abstract description 8
- 238000007405 data analysis Methods 0.000 claims abstract description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 17
- 210000000078 claw Anatomy 0.000 claims description 13
- 238000005286 illumination Methods 0.000 claims description 9
- 238000012876 topography Methods 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 7
- 238000013515 script Methods 0.000 claims description 7
- 230000006854 communication Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000013213 extrapolation Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 3
- 239000002245 particle Substances 0.000 claims description 3
- 230000009012 visual motion Effects 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 2
- 238000004806 packaging method and process Methods 0.000 claims description 2
- 239000012212 insulator Substances 0.000 claims 1
- 238000012795 verification Methods 0.000 abstract description 9
- 238000012549 training Methods 0.000 abstract description 7
- 230000001133 acceleration Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000013016 damping Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 2
- 238000013475 authorization Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011056 performance test Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001141 propulsive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B17/00—Systems involving the use of models or simulators of said systems
- G05B17/02—Systems involving the use of models or simulators of said systems electric
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
本发明提供了一种基于Unity 3D的有缆水下作业机器人仿真系统。水下作业机器人控制模块用于选择机器人控制模式并发送控制指令；仿真模块用于实现水下3D静态场景、3D动态场景、水下作业机器人运动及机器人搭载传感器的仿真；图形用户界面模块用于实现人机交互及传感器数据的显示；数据平台存储来自传感器的数据，用于后续进行数据分析及仿真过程回放。本发明可以在一台计算机上仿真有缆水下作业机器人在水下环境作业的全过程，两种不同的机器人控制模式分别可以实现对操作员的培训及控制算法效果的验证，数据平台存储的仿真过程数据可以用于评价不同水下作业方案的优劣及控制算法的好坏，为优化选择水下作业方案及改善控制算法提供参考。
Description
技术领域
本发明涉及有缆水下作业机器人领域，特别是关于一种有缆水下作业机器人仿真系统。
背景技术
有缆水下作业机器人在水下地形勘探、海洋资源开发、水下管道清洁维修等方面扮演着越来越重要的角色。但是，水下作业机器人在实际水域的性能测试工作需要花费大量时间，而且无法保证工作人员的人身安全。同时，操作人员初次操作水下作业机器人很容易出现误操作，造成水下作业机器人的损毁或丢失。因此，如何在尽量少的时间、开支及风险的情况下实现水下作业机器人的性能测试及对操作人员的培训，是一个亟需解决的问题。
授权公告号为CN202120467U、申请日为2011年6月15日的专利中提供了一种遥控水下机器人模拟训练器。该水下机器人模拟训练器包括操控系统、控制系统及视景仿真计算机三个部分。该模拟训练器只局限于对操作人员遥控水下机器人进行培训，不具备对科研人员开发的感知、决策及控制算法进行验证的功能。而且，控制系统及视景仿真单元需要多台计算机同时运行，不同计算机之间需要较为复杂的通信，故该模拟训练器成本较高且较为复杂。
授权公告号为CN106600666A、申请日为2016年12月19日的专利中提供了一种遥控水下机器人仿真展示系统及其仿真方法。该水下机器人仿真展示系统包括运动模型仿真及实景仿真两个部分。该水下机器人仿真展示系统的指令交互模块局限于通过键盘输入控制指令，不具备对水下机器人搭载的传感器进行仿真的功能，无法通过控制算法自动控制水下机器人的运动。
授权公告号为CN110794710A、申请日为2019年11月18日的专利中提供了一种水下机器人仿真模拟系统。该仿真模拟系统包括控制设备、虚拟现实仿真模块及先进运动控制设备。控制设备用于向先进运动控制设备发送控制任务，先进运动控制设备基于接收到的控制任务生成运动控制指令并发送给虚拟现实仿真模块，虚拟现实仿真模块基于运动控制指令产生水下机器人的运动效果。该仿真模拟系统仍然局限于对操作人员遥控水下机器人进行培训，无法外接客户端软件以验证控制算法的效果。同时，该仿真模拟系统不具备仿真过程录制回放功能，也不包含存储仿真过程数据的数据库，不利于后续对仿真过程进行分析。
根据调研，目前水下作业机器人仿真系统通常包含多台计算机，硬件拓扑复杂，可靠性差，且不具备验证控制算法效果的功能。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种在一台计算机上实现有缆水下作业机器人的运动仿真、水下环境仿真、传感器仿真及文本视频数据显示及存储等功能的仿真系统，有效减小仿真系统的尺寸及降低系统复杂度，同时提供人员培训及算法验证功能。
为实现上述目的，本发明提供了如下技术方案：一种有缆水下作业机器人仿真系统，包括：
机器人控制模块，用于切换水下机器人控制模式及控制水下机器人运动；
仿真模块，该仿真模块用于仿真水下环境、机器人运动及传感器；
图形用户界面模块，该图形用户界面模块主要用于人机交互及显示相关的文本视频数据；
数据平台，数据平台用于存储来自传感器的数据，用于后续进行数据分析及回放仿真过程；
单机集成模块，该单机集成模块用于将机器人控制模块、仿真模块及图形用户界面模块通过AssestBundle技术打包形成完整的仿真软件包。
作为本发明的进一步改进，所述机器人控制模块具有手动控制模式和自动控制模式，所述手动控制模式为采用触屏功能按键及手柄给机器人、机械臂及机械爪发送运动指令，所述自动控制模式为通过外部开发好的环境感知、决策规划及运动控制算法，控制机器人、机械臂及机械爪完全自主式地执行相关动作，其中，自动控制模式支持SIL及HIL两种方式：SIL采用以太网实现运行仿真系统的服务器PC与基于MATLAB/Simulink实现自动控制算法的客户端PC之间的双向通信；HIL采用以太网实现运行仿真系统的服务器PC、嵌入式控制器及客户端PC三者之间的通信，嵌入式控制器用于环境感知、决策规划及运动控制，客户端PC基于ADAMS实现水下机器人的动力学建模。
作为本发明的进一步改进，所述仿真模块包括：3D模型及场景库，该3D模型库及场景库提供多种接口，可支持3D建模软件，构建的模型及场景涵盖不同的水域深度，可用于不同水域深度的仿真；
机器人运动仿真，该机器人运动仿真由机器人模型、动力学模型及物理引擎PhysX配合完成；
3D静态场景仿真，该3D静态场景通过3D物体模型组合及渲染引擎OSG配合完成，渲染引擎主要负责构建水底地形、水下环境颜色、水体及光照，水底地形基于加权外推及双三次样条插值细分算法进行建模，水下环境颜色由OSG的雾效设置，水体的浑浊效果由OSG的粒子系统并兼顾能见度及实时性产生，水下光照采用Iwasaki提出的基于物理模型的方法进行模拟；
3D动态场景仿真，该3D动态场景通过3D物体模型组合及物理引擎PhysX配合完成，编写脚本配置物体运动参数，由PhysX产生具体的可视化运动效果；
传感器仿真，该传感器仿真用于模拟水下作业机器人搭载的各种传感器，包括摄像头、声呐、压力传感器、深度传感器、定位传感器、速度传感器、IMU；
其中，摄像头仿真采用基于物理真实的仿真方法，声呐仿真过程中采用光栅化方法基于探测物体表面法线及深度值计算主反射并采用射线追踪方法对反射区域进行二次反射，机器人定位仿真采用基于USBL原理的声学定位传感器，压力传感器、深度传感器、速度传感器及IMU的仿真均直接仿真传感器目标。
作为本发明的进一步改进，所述图形用户界面模块用于人机交互界面及显示相关的文本视频数据；
所述人机交互界面采用触控虚拟按键，通过虚拟按键可以实现仿真参数设置及数据调取，虚拟按键可设置的内容包括：水下照明灯的开关、各种传感器的开关、缆绳的收放、机器人控制模式切换、报警开关、推进器使能与否；
文本数据显示的内容包括：水下机器人的位置、姿态、所在海拔、所在深度、运动速度，视频数据显示的内容包括：水下机器人所处水下环境、机械臂及机械爪细节、水下机器人作业过程。
作为本发明的进一步改进，所述仿真软件包的执行步骤如下：
第一步：运行仿真软件；
第二步：从仿真软件的3D模型及场景库中选择并加载机器人模型及水下场景；
第三步：通过触控屏虚拟按键选择控制模式，自动控制软件在手动控制模式下不运行，在自动控制模式下运行；
第四步：运行数据平台，数据平台与仿真软件通过UDP协议进行通讯；
第五步：手动控制模式下，用户通过图形用户界面中的功能按钮及手柄控制水下机器人运动；自动控制模式下，用户在自动控制软件中输入水下机器人的期望位姿；
第六步：仿真模块中的机器人运动仿真单元产生水下机器人、机械臂及机械爪的运动效果；手动控制模式下，传感器仿真单元将采集的水下环境、水下机器人状态等信息传递给数据平台；自动控制模式下，传感器仿真单元除了将采集的信息传递给数据平台，还会传递给自动控制软件；
第七步：当需要回放并分析仿真过程时，仿真软件可以从数据平台调取已存储的仿真过程视频进行回放。
本发明的有益效果，1、本发明的所有功能模块均部署在同一台计算机上，无需采用多台计算机，降低了系统的硬件复杂度、通信复杂度及开发成本，有效减小了仿真系统的尺寸。2、本发明具备手动控制及自动控制两种控制模式，两种模式可以一键快速切换，手动控制下可以实现对操作人员的培训，自动控制模式下可以对科研人员开发的运动控制算法效果进行验证，同时支持HIL及SIL验证。3、本发明引入功能强大的开源图像引擎OSG及物理引擎PhysX，可以很方便地构建3D水下场景，产生逼真的机器人运动效果。4、本发明基于不同传感器数据的特点采用不同的传感器仿真方法，有利于提升仿真的真实性及效率。5、本发明开发的图形用户界面可以根据用户需要切换不同的数据显示窗口，也支持多个小窗口同时显示，可显示数据包括文本及视频。6、本发明创建页面所需的各种图标及脚本不存在冗余及重复的情况，不同页面共有的由基本图标及脚本构建的模块单独制作为预制体，有利于在保证页面功能时最大限度地降低资源冗余及重复，提高页面制作的效率，减小仿真软件包的大小。7、本发明基于开源数据库Redis及文件系统FastDFS部署数据平台，设计专门的数据存储格式实现仿真过程的数据存储，有利于减少数据冗余及重复，后续可回放仿真过程，进一步基于存储数据分析不同作业流程的优劣及控制算法的效果。
附图说明
图1是本发明系统架构示意图；
图2是本发明硬件组成示意图；
图3是本发明仿真软件与外部自动控制软件的SIL验证示意图；
图4是本发明仿真软件与外部自动控制软件的HIL验证示意图；
图5是本发明水下作业机器人运动仿真计算过程示意图；
图6是本发明数据平台文本数据存储格式；
图7是本发明数据平台视频数据存储格式。
具体实施方式
下面将结合附图所给出的实施例对本发明做进一步的详述。
如图1所示，本发明的系统架构主要包括机器人控制模块、仿真模块、图形用户界面模块、操控手柄及数据平台四个部分，在自动控制模式下可以接入自动控制软件。
如图2所示，本发明的硬件组成包括服务器PC、客户端PC(自动控制模式时引入)、触控屏、操控手柄及显示屏。服务器PC装载仿真软件及数据平台，客户端PC装载自动控制软件，触控屏用于设置相关参数及调取数据，操控手柄用于操控机器人运动，显示屏用于显示仿真过程、文本及视频数据。
整套水下作业机器人仿真系统工作过程如下：
第一步：运行仿真软件。
第二步：从仿真软件的3D模型及场景库中选择并加载机器人模型及水下场景。
第三步：通过触控屏虚拟按键选择控制模式，自动控制软件在手动控制模式下不运行，在自动控制模式下运行。
第四步：运行数据平台，数据平台与仿真软件通过UDP协议进行通讯。
第五步：手动控制模式下，用户通过图形用户界面中的功能按钮及手柄控制水下机器人运动；自动控制模式下，用户在自动控制软件中输入水下机器人的期望位姿。
第六步：仿真模块中的机器人运动仿真单元产生水下机器人、机械臂及机械爪的运动效果；手动控制模式下，传感器仿真单元将采集的水下环境、水下机器人状态等信息传递给数据平台；自动控制模式下，传感器仿真单元除了将采集的信息传递给数据平台，还会传递给自动控制软件。
第七步：当需要回放并分析仿真过程时，仿真软件可以从数据平台调取已存储的仿真过程视频进行回放。
(1)机器人控制模块
机器人控制模块用于切换机器人控制模式及向水下机器人发送运动指令。
机器人控制模式包括手动控制、自动控制两种，用户可以根据不同的使用目的通过触屏虚拟按键自由切换控制模式。该虚拟按键未按下时，采用手动控制模式；该虚拟按键按下时，切换为自动控制模式。
当需要给出海作业的操作员进行培训时，采用手动控制模式：采用手柄上针对机器人本体的上行按钮、下行按钮、左移按钮、右移按钮、顺时针转动按钮、逆时针转动按钮分别控制水下作业机器人进行上行、下行、左移、右移、顺时针转动、逆时针转动等运动，采用手柄上针对机械臂的伸长按钮、缩短按钮、顺时针转动按钮、逆时针转动按钮分别控制机械臂进行伸长、缩短、顺时针转动、逆时针转动等运动，采用手柄上针对机械爪的张开按钮、闭合按钮分别控制机械爪进行张开、闭合等运动，以上运动持续时间取决于对应按钮状态的保持时间。
当需要验证科研人员开发的环境感知、决策规划、运动控制算法效果时，采用自动控制模式：当控制模式切换按钮按下时，即进入自动控制模式。如图3所示，运行自动控制软件的客户端PC与运行仿真系统的服务器PC通过以太网进行双向通信以实现SIL验证。客户端PC上安装了MATLAB/Simulink软件，环境感知及决策规划算法基于MATLAB编程实现并转化为系统对象SP，系统对象SP与基于Simulink搭建的运动控制模型连接，将基于ADAMS软件构建的水下机器人动力学模型导入Simulink，即可实现对水下机器人的运动控制。自动控制软件接收来自仿真系统传感器仿真模块感知的机器人周围环境信息、机器人位姿信息及用户输入的机器人期望位姿信息，继而规划出机器人的运动轨迹，仿真系统接收自动控制软件产生的任意时刻的机器人位姿及螺旋桨转速。
科研人员可以方便地将上述自动控制软件通过MATLAB/Simulink的自动代码生成功能转化成C++代码并移植至嵌入式控制器中实现HIL测试验证。如图4所示，HIL验证与图3所示的SIL验证不同之处在于：HIL额外需要一台接口模拟设备来连接嵌入式控制器及运行水下机器人动力学模型的客户端PC，客户端PC上的水下动力学模型在ADAMS软件上实现。
(2)仿真模块
仿真模块包括3D模型及场景库、机器人运动仿真、3D静态场景、3D动态场景及传感器仿真，用于仿真水下环境、机器人运动及传感器。
1)3D模型及场景库。3D模型库及场景库可以采用Blender、3D Studio Max、Maya等第三方建模软件构建，构建时注意考虑模型各部分的材质、尺寸、颜色等物理特性，使模型及场景尽量接近真实，提升整体的视觉效果。构建的模型包括但不限于机器人、水下植物、水下浮游动物、人工建筑、礁石等。之后，将构建完成的模型及场景导出为渲染引擎OSG可以读取的格式。3D静态场景、动态场景中的3D物体模型及机器人模型也采用这些模型构建。
2)机器人运动仿真。机器人运动仿真计算过程示意图如图5所示。机器人运动仿真需要机器人模型、动力学模型及物理引擎配合完成。
自动控制模式下，自动控制软件基于用户输入的水下机器人期望位姿及传感器检测到的环境信息及机器人状态信息解算机器人任意时刻位姿及螺旋桨转速，物理引擎PhysX基于计算得到的螺旋桨转速及机器人位姿展现螺旋桨的转动效果及机器人的运动效果。自动控制软件内部的计算过程不是本发明关注之处，在此不进行详述。
手动控制模式下，内部涉及的计算过程如下：首先，运动仿真单元基于来自机器人控制模块的控制指令解算得到虚拟的电机驱动电压值；接着，根据该电压值计算螺旋桨转速；然后基于螺旋桨转速计算螺旋桨产生的推进力；然后，结合机器人所受重力、浮力、水阻尼力及推进力，基于水下作业机器人动力学模型解算机器人的运动加速度；继而基于机器人运动学模型计算机器人任意时刻的位姿；最后，物理引擎PhysX基于计算得到的螺旋桨转速及机器人位姿展现螺旋桨的转动效果及机器人的运动效果。
水下机器人受到的重力如下式：
G＝mg
其中，m为机器人质量，g为重力加速度。
水下机器人受到的浮力如下式所示：
Fb＝ρgV
其中，ρ为水体密度，V为机器人排开水的体积。
水下机器人受到的水阻尼力如下式所示：
其中，v为机器人与水的相对速度，A为受力面积，Cd为阻尼系数。
水下机器人的螺旋桨由直流电机驱动，螺旋桨输出转速与输入电压成正比，转速如下式所示：
其中，J是转子惯性矩，b机械系统阻尼比，L是转子电感，R是终端电阻，K是电动势常数。
螺旋桨产生的推进力与角速度的关系如下式所示：
Ft＝Ctw|w|
其中，Ct是系数，w是螺旋桨角速度。
水下机器人整体的动力学方程如下式所示：
其中，M为质量及惯性矩，u为速度，C(u)为科氏力及向心力，D(u)为水动力阻尼矩阵，G′为重力及浮力的合力，τ为外部力及力矩。
3)3D静态场景仿真。将构建好的3D物体模型进行组合，采用渲染引擎OSG构建水下地形、水体及光照等，再将二者结合便可生成完整的3D静态场景。当模型组合、水下地形及光照不同时，便可生成不同的静态场景，用户可以根据需要自行配置。根据需要采用静态合批技术，可以有效地减少CPU对GPU绘制的请求次数，提升运行速度。
水下环境颜色由OSG的雾效设置，水体的浑浊效果由OSG的粒子系统并兼顾能见度及实时性产生。
水底地形基于加权外推及双三次样条插值细分算法进行建模，地形模型如下式所示：
其中，hxy为控制点网格第x行第y列围成区域内的随机点的高程，x、y分别为控制点网格的行列号。
其中，he(i,j)(i,j-1)表示控制点Pi,j和Pi,j-1的高程线性外推值，d(i,j)(i-1,j-1)表示点Pxy到直线Pi,jPi,j-1的距离，r(i,j)表示点Pxy及控制点Pi,j之间的距离。
水下光照参考Iwasaki提出的基于物理模型的方法进行模拟。水下某点A处的光照强度计算公式如下：
其中，λ为光的波长，IB(λ)为A点光束在其水面入射点B处的光强，c(λ)为光在水中的衰减系数，L为A点与B点之间的距离，IC(λ)为水面上某点的入射光经折射后形成的光束与A点对应光束交点C处的光强，l为A点与C点之间的距离。
4)3D动态场景仿真。将构建好的3D物体模型进行组合，采用脚本设置物体的运动方式、速度及周期等参数，基于物理引擎PhysX产生可视化运动效果。当模型组合及模型运动方式、速度及周期不同时，便可生成不同的动态场景，用户也可以根据需要自行配置。根据需要采用动态合批技术，可以有效地减少CPU对GPU绘制的请求次数，提升运行速度。
5)传感器仿真。传感器仿真用于模拟水下作业机器人搭载的各种传感器，包括但不限于摄像头、声呐、压力传感器、深度传感器、定位传感器、速度传感器、IMU等。传感器用于采集视频、压力、深度、位置信息、速度及姿态等数据，然后传递给图形用户界面及数据平台分别进行显示及存储。在手动控制模式下：这些传感器数据在仿真过程中主要用于监测水下作业机器人的状态及显示机械臂机械爪的局部细节，使得操作员可以及时掌握作业过程的各方面信息；这些传感器数据在仿真结束后主要用于分析不同作业流程的优劣。在自动控制模式下：这些传感器数据在仿真过程中除了用于监测水下作业机器人的状态及显示机械臂机械爪的局部细节外，还作为水下作业机器人的决策规划及运动控制算法的输入信息，使得机器人可以基于环境及自身状态信息做出合理的决策，规划出较好的行走线路到达期望位置；这些传感器数据在仿真结果后可以用于分析科研人员开发的算法效果并有针对性地做出改进。
摄像头仿真主要涉及镜头系统、成像仪及后处理三部分。镜头系统需要配置的参数包括焦距、视场、场深及光圈等，成像仪需要配置的参数包括尺寸大小、分辨率、动态范围及噪声等，后处理即进行数模转换。
仿真摄像头时充分考虑镜头的径向变形，包括桶形失真及枕形失真。本处基于Brown-Conrady模型校正镜头的径向变形，具体原理在此不进行详述。
仿真摄像头时也充分考虑成像仪的噪声，成像仪生成的带有噪声的图像如下式：
In＝(rp+nps(r)+nfp+ndcs+nre)ndepic+nq
其中，r为成像仪辐照度，p为光响应非均匀性，nps为光子散粒噪声，nfp为偏移固定模式噪声，ndcs为暗电流散粒噪声，nre为读出噪声，nd为马赛克噪声，epic为后期图像捕获效果，nq是量化噪声。
声呐仿真的过程包括：配置声呐物理参数，包括工作频率、波束水平宽度、波束垂直宽度、探测距离、扫描角度等；采用光栅化方法，基于探测物体表面法线及深度值计算主反射；采用射线追踪方法对反射区域进行二次反射；采用信号衰减模型衰减全反射的幅度；计算回声强度及脉冲距离这两个声呐渲染参数；将脉冲距离相同的像素点分成一组；通过能量归一化计算每组的强度；给每组强度引入斑点噪声。计算得到的强度即为声呐的输出数据，强度公式如下所示：
其中，(r,θ)是点的极坐标，I(r,θ)是无噪声强度，ηm(r,θ)及ηa(r,θ)分别为两个噪声成分。
深度传感器仿真输出的深度如下式：
其中，h及h0分别为t时刻及初始时刻的深度，vh为机器人在垂直方向的速度。压力传感器仿真输出的压力如下式：
p＝ρgh
其中，p为压力，ρ为海水密度，g为重力加速度，h为机器人所在深度。
机器人定位采用基于USBL原理的声学定位传感器。虚拟的询问器及应答器分别安装在海面船体底部及水下机器人上表面，询问器以一定频率发出声波，应答器发出响应信号，询问器以另一频率接收该响应信号。询问器与应答器之间的距离基于声速及飞行时间计算得到。应答器的方位角基于询问器上多个水听器之间的相移计算得到。基于该距离及方位角便可得到水下机器人的位置。
速度传感器仿真输出的速度包括螺旋桨的转速、机器人本体的速度两部分，螺旋桨转速及机器人本体的加速度计算见机器人运动仿真部分。得到机器人本体的加速度后，其速度计算公式如下：
其中，v及v0分别为t时刻及初始时刻的速度，a为加速度。
IMU仿真输出的机器人姿态角如下式所示：
其中，θ及θ0分别为t时刻及初始时刻的姿态角，w为角速度。
(3)图形用户界面模块
图形用户界面可划分为三部分：UI框架，主要包含UIPanel、Manager、Recources、Extension等内容，UIPanel存放所有页面，Manager建立所有页面之间的交互逻辑，Recources存放背景及图标资源，Extension存放所有的拓展插件，例如多选框及长按按钮等；UI界面，采用Sketch设计，主要包括界面窗口布局、整体风格、功能按钮及图标等的设计，整体风格设计颜色及尺寸等，整体要求是美观、具备现代科技感；数据逻辑，主要是指通过编程的方式实现功能按钮、文本数据显示及视频显示窗口与数据的设置及调用关系。
创建页面所需的各种图标及脚本不存在冗余及重复的情况。不同页面共有的由基本图标及脚本构建的模块单独制作为预制体，需要该模块的页面添加该预制体即可，无需创建多个相同的模块。这样有利于在保证页面功能时最大限度地降低资源冗余及重复，提高页面制作的效率，减小仿真软件包的大小，节省存储空间。
数据逻辑中的功能按钮可以设置的内容包括：水下照明灯的开关、各种传感器的开关、缆绳的收放、机器人控制模式切换、报警开关、推进器使能与否等。
数据逻辑中的文本数据显示的内容包括：水下机器人的位置、姿态、所在海拔、所在深度、运动速度、螺旋桨转速等。
数据逻辑中的视频数据显示的内容包括：水下机器人所处水下环境、机械臂及机械爪细节、水下机器人作业过程等。
(4)数据平台
数据平台用于存储来自传感器的数据，用于后续进行数据分析及回放仿真过程。数据主要包括文本及视频，文本数据包括但不限于水下机器人的位置、姿态、所在海拔、所在深度、速度、加速度、角速度及角加速度等，视频数据包括但不限于机器人本体运动视频、机械臂运动视频、机械爪作业视频及缆绳收放装置局部视频等。文本存储采用开源且支持高频读写的数据库Redis，视频存储采用开源高性能的文件系统FastDFS。本发明将涉及的数据看成时序数据。数据平台与上述模块部署在同一计算机上，通过UDP协议与仿真软件通讯。
文本数据采用Redis进行存储。本处为了节省内存空间，基于Redis的键值存储原理设计了专门用于管理时序文本数据的存储模型。传统的键值型数据库组织时序数据时，键由时间戳、确定数据源的维度标签及变量名称组成，不同时间戳的值分别对应一个键，造成维度标签及变量名称的冗余及重复存储。如图6所示，本处的键由维度标签及变量名称拼接而成，每个这样的键对应一个时序对象，该时序对象按照时间顺序存储来自同一数据源及同一变量在不同时刻的值。维度标签主要涉及压力传感器、深度传感器、速度传感器等产生文本数据的数据来源，变量名称主要涉及压力、深度、速度等。
视频数据采用FastDFS进行存储。如图7所示，本处设计的视频数据文件结构由文件头及若干子文件组成，文件头由视频数据来源、数据长度、子文件数量、子文件相关信息组成，子文件相关信息涉及存入时间、偏移、长度及状态。数据来源用于指示该数据文件存储的数据来自于何种传感器(如摄像头、声呐)，来自同一传感器的数据存储于同一数据文件，不同时间导入的来源相同的数据存储在不同的子文件中。基于这种文件结构，用户可以非常方便地基于数据来源及导入日期调取想要查看的数据。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (5)
1.一种有缆水下作业机器人仿真系统，其特征在于：包括：
机器人控制模块，用于切换水下机器人控制模式及控制水下机器人运动；
仿真模块，该仿真模块用于仿真水下环境、机器人运动及传感器；
图形用户界面模块，该图形用户界面模块主要用于人机交互及显示相关的文本视频数据；
数据平台，数据平台用于存储来自传感器的数据，用于后续进行数据分析及回放仿真过程；
单机集成模块，该单机集成模块用于将机器人控制模块、仿真模块及图形用户界面模块通过AssestBundle技术打包形成完整的仿真软件包。
2.根据权利要求1所述的有缆水下作业机器人仿真系统，其特征在于：所述机器人控制模块具有手动控制模式和自动控制模式，所述手动控制模式为采用触屏功能按键及手柄给机器人、机械臂及机械爪发送运动指令，所述自动控制模式为通过外部开发好的环境感知、决策规划及运动控制算法，控制机器人、机械臂及机械爪完全自主式地执行相关动作，其中，自动控制模式支持SIL及HIL两种方式：SIL采用以太网实现运行仿真系统的服务器PC与基于MATLAB/Simulink实现自动控制算法的客户端PC之间的双向通信；HIL采用以太网实现运行仿真系统的服务器PC、嵌入式控制器及客户端PC三者之间的通信，嵌入式控制器用于环境感知、决策规划及运动控制，客户端PC基于ADAMS实现水下机器人的动力学建模。
3.根据权利要求2所述的有缆水下作业机器人仿真系统，其特征在于：所述仿真模块包括：
3D模型及场景库，该3D模型库及场景库提供多种接口，可支持3D建模软件，构建的模型及场景涵盖不同的水域深度，可用于不同水域深度的仿真；
机器人运动仿真，该机器人运动仿真由机器人模型、动力学模型及物理引擎PhysX配合完成；
3D静态场景仿真，该3D静态场景通过3D物体模型组合及渲染引擎OSG配合完成，渲染引擎主要负责构建水底地形、水下环境颜色、水体及光照，水底地形基于加权外推及双三次样条插值细分算法进行建模，水下环境颜色由OSG的雾效设置，水体的浑浊效果由OSG的粒子系统并兼顾能见度及实时性产生，水下光照采用Iwasaki提出的基于物理模型的方法进行模拟；
3D动态场景仿真，该3D动态场景通过3D物体模型组合及物理引擎PhysX配合完成，编写脚本配置物体运动参数，由PhysX产生具体的可视化运动效果；传感器仿真，该传感器仿真用于模拟水下作业机器人搭载的各种传感器，包括摄像头、声呐、压力传感器、深度传感器、定位传感器、速度传感器、IMU；其中，摄像头仿真采用基于物理真实的仿真方法，声呐仿真过程中采用光栅化方法基于探测物体表面法线及深度值计算主反射并采用射线追踪方法对反射区域进行二次反射，机器人定位仿真采用基于USBL原理的声学定位传感器，压力传感器、深度传感器、速度传感器及IMU的仿真均直接仿真传感器目标。
4.根据权利要求3所述的有缆水下作业机器人仿真系统，其特征在于：所述图形用户界面模块用于人机交互界面及显示相关的文本视频数据；
所述人机交互界面采用触控虚拟按键，通过虚拟按键可以实现仿真参数设置及数据调取，虚拟按键可设置的内容包括：水下照明灯的开关、各种传感器的开关、缆绳的收放、机器人控制模式切换、报警开关、推进器使能与否；
文本数据显示的内容包括：水下机器人的位置、姿态、所在海拔、所在深度、运动速度，视频数据显示的内容包括：水下机器人所处水下环境、机械臂及机械爪细节、水下机器人作业过程。
5.根据权利要求1至4任意一项所述的有缆水下作业机器人仿真系统，其特征在于：所述仿真软件包的执行步骤如下：
第一步：运行仿真软件；
第二步：从仿真软件的3D模型及场景库中选择并加载机器人模型及水下场景；
第三步：通过触控屏虚拟按键选择控制模式，自动控制软件在手动控制模式下不运行，在自动控制模式下运行；
第四步：运行数据平台，数据平台与仿真软件通过UDP协议进行通讯；
第五步：手动控制模式下，用户通过图形用户界面中的功能按钮及手柄控制水下机器人运动；自动控制模式下，用户在自动控制软件中输入水下机器人的期望位姿；
第六步：仿真模块中的机器人运动仿真单元产生水下机器人、机械臂及机械爪的运动效果；手动控制模式下，传感器仿真单元将采集的水下环境、水下机器人状态等信息传递给数据平台；自动控制模式下，传感器仿真单元除了将采集的信息传递给数据平台，还会传递给自动控制软件；
第七步：当需要回放并分析仿真过程时，仿真软件可以从数据平台调取已存储的仿真过程视频进行回放。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2020109935096 | 2020-09-21 | ||
| CN202010993509 | 2020-09-21 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113050449A true CN113050449A (zh) | 2021-06-29 |
Family
ID=76513803
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110295619.XA Pending CN113050449A (zh) | 2020-09-21 | 2021-03-19 | 一种有缆水下作业机器人仿真系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113050449A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113848759A (zh) * | 2021-10-11 | 2021-12-28 | 江苏汇博机器人技术股份有限公司 | 一种机器人搬运仿真系统及其搬运方法 |
| CN117706961A (zh) * | 2024-02-04 | 2024-03-15 | 青岛哈尔滨工程大学创新发展中心 | 一种深海潜器机械臂控制系统故障仿真平台 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2444041C1 (ru) * | 2010-08-17 | 2012-02-27 | Российская Федерация в лице Министерства промышленности и торговли РФ | Комплекс имитационного и физико-математического моделирования процессов маневрирования автономных подводных аппаратов с бортовой гидроакустической аппаратурой наведения на подводные объекты |
| CN103592854A (zh) * | 2013-11-14 | 2014-02-19 | 哈尔滨工程大学 | 一种水下无人航行器观测任务的同步虚拟推演装置 |
| CN104407521A (zh) * | 2014-11-13 | 2015-03-11 | 河海大学常州校区 | 一种实现水下机器人实时仿真的方法 |
| CN104477356A (zh) * | 2014-11-19 | 2015-04-01 | 中国船舶重工集团公司第七○二研究所 | 一种rov水下作业仿真台架 |
| CN105654836A (zh) * | 2016-02-01 | 2016-06-08 | 北京理工大学 | 基于SolidWorks、ADAMS环境的球形机器人综合仿真方法 |
| CN106127844A (zh) * | 2016-06-22 | 2016-11-16 | 民政部零研究所 | 移动终端用户实时交互访问远程3d场景的渲染交互方法 |
| CN106600666A (zh) * | 2016-12-19 | 2017-04-26 | 河海大学常州校区 | 一种水下机器人仿真展示系统及仿真方法 |
| CN108820167A (zh) * | 2018-05-25 | 2018-11-16 | 哈尔滨工程大学 | 一种仿生型水下机器人的操纵系统及区域控位控制方法 |
| CN110794710A (zh) * | 2019-11-18 | 2020-02-14 | 株洲中车时代电气股份有限公司 | 一种水下机器人仿真模拟系统 |
-
2021
- 2021-03-19 CN CN202110295619.XA patent/CN113050449A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2444041C1 (ru) * | 2010-08-17 | 2012-02-27 | Российская Федерация в лице Министерства промышленности и торговли РФ | Комплекс имитационного и физико-математического моделирования процессов маневрирования автономных подводных аппаратов с бортовой гидроакустической аппаратурой наведения на подводные объекты |
| CN103592854A (zh) * | 2013-11-14 | 2014-02-19 | 哈尔滨工程大学 | 一种水下无人航行器观测任务的同步虚拟推演装置 |
| CN104407521A (zh) * | 2014-11-13 | 2015-03-11 | 河海大学常州校区 | 一种实现水下机器人实时仿真的方法 |
| CN104477356A (zh) * | 2014-11-19 | 2015-04-01 | 中国船舶重工集团公司第七○二研究所 | 一种rov水下作业仿真台架 |
| CN105654836A (zh) * | 2016-02-01 | 2016-06-08 | 北京理工大学 | 基于SolidWorks、ADAMS环境的球形机器人综合仿真方法 |
| CN106127844A (zh) * | 2016-06-22 | 2016-11-16 | 民政部零研究所 | 移动终端用户实时交互访问远程3d场景的渲染交互方法 |
| CN106600666A (zh) * | 2016-12-19 | 2017-04-26 | 河海大学常州校区 | 一种水下机器人仿真展示系统及仿真方法 |
| CN108820167A (zh) * | 2018-05-25 | 2018-11-16 | 哈尔滨工程大学 | 一种仿生型水下机器人的操纵系统及区域控位控制方法 |
| CN110794710A (zh) * | 2019-11-18 | 2020-02-14 | 株洲中车时代电气股份有限公司 | 一种水下机器人仿真模拟系统 |
Non-Patent Citations (1)
| Title |
|---|
| 刘贵杰等: ""基于Adams与Matlab/Simulink的水下自航行器协同仿真"", 《机械工程学报》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113848759A (zh) * | 2021-10-11 | 2021-12-28 | 江苏汇博机器人技术股份有限公司 | 一种机器人搬运仿真系统及其搬运方法 |
| CN117706961A (zh) * | 2024-02-04 | 2024-03-15 | 青岛哈尔滨工程大学创新发展中心 | 一种深海潜器机械臂控制系统故障仿真平台 |
| CN117706961B (zh) * | 2024-02-04 | 2024-05-03 | 青岛哈尔滨工程大学创新发展中心 | 一种深海潜器机械臂控制系统故障仿真平台 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112668687B (zh) | 云端机器人系统、云服务器、机器人控制模块和机器人 | |
| Duan et al. | A survey of embodied ai: From simulators to research tasks | |
| Echeverria et al. | Modular open robots simulation engine: Morse | |
| JP3745802B2 (ja) | 画像生成／表示装置 | |
| JP6915605B2 (ja) | 画像生成装置、ロボット訓練システム、画像生成方法、及び画像生成プログラム | |
| CN113050449A (zh) | 一种有缆水下作业机器人仿真系统 | |
| CN108284436B (zh) | 具有模仿学习机制的远程机械双臂系统及方法 | |
| Brutzman et al. | Integrated simulation for rapid development of autonomous underwater vehicles | |
| AU2018436279B2 (en) | System and method of operation for remotely operated vehicles for simultaneous localization and mapping | |
| CN107301802A (zh) | 一种载人潜水器模拟系统 | |
| Katara et al. | Open source simulator for unmanned underwater vehicles using ros and unity3d | |
| CN108109202B (zh) | 一种基于gpu的动力定位船舶三维视景仿真系统及方法 | |
| CN110310541A (zh) | 一种空天地海一体化舰船通信网络虚拟仿真与实验教学平台 | |
| Chin et al. | Unity3D serious game engine for high fidelity virtual reality training of remotely-operated vehicle pilot | |
| JP6856936B2 (ja) | 学習方法、学習装置及び学習プログラム | |
| Palnitkar et al. | Chatsim: Underwater simulation with natural language prompting | |
| Wang et al. | USVs‐Sim: A general simulation platform for unmanned surface vessels autonomous learning | |
| CN112258637A (zh) | 非遗文化项目虚拟展示方法、系统、介质、设备及终端 | |
| CN116977599A (zh) | 一种基于元宇宙的盾构机模拟驾驶方法及系统 | |
| CN207704684U (zh) | 一种载人潜水器模拟系统 | |
| Chia et al. | A ros approach on multi-mode control systems for remote operating vehicle | |
| Phoha et al. | A high-fidelity ocean sampling mobile network (SAMON) simulator testbed for evaluating intelligent control of unmanned underwater vehicles | |
| CN114741778A (zh) | 基于人机博弈的无人艇自主能力测试系统及方法 | |
| Sousa et al. | Multiple AUVs for coastal oceanography | |
| Vinas et al. | Towards a Modelling & Simulation capability for training autonomous vehicles in complex maritime operations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210629 |