CN110879660B - 一种基于vr的轮胎吊实训系统及方法 - Google Patents
一种基于vr的轮胎吊实训系统及方法 Download PDFInfo
- Publication number
- CN110879660B CN110879660B CN201910538498.XA CN201910538498A CN110879660B CN 110879660 B CN110879660 B CN 110879660B CN 201910538498 A CN201910538498 A CN 201910538498A CN 110879660 B CN110879660 B CN 110879660B
- Authority
- CN
- China
- Prior art keywords
- scene
- real
- training
- tire crane
- training system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000000694 effects Effects 0.000 claims abstract description 33
- 238000004519 manufacturing process Methods 0.000 claims abstract description 20
- 238000009877 rendering Methods 0.000 claims abstract description 18
- 230000003993 interaction Effects 0.000 claims abstract description 16
- 230000010354 integration Effects 0.000 claims abstract description 7
- 238000007726 management method Methods 0.000 claims description 23
- 238000004088 simulation Methods 0.000 claims description 22
- 230000009471 action Effects 0.000 claims description 15
- 239000000463 material Substances 0.000 claims description 15
- 238000005286 illumination Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 4
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000013523 data management Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000003111 delayed effect Effects 0.000 claims description 2
- 230000002441 reversible effect Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000011084 recovery Methods 0.000 claims 1
- 230000009467 reduction Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 9
- 238000012423 maintenance Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000002452 interceptive effect Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
- G06Q50/2057—Career enhancement or continuing education service
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Educational Technology (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种基于VR的轮胎吊实训系统，包括：控制设备，显示设备；客户端，VR基础技术框架和港口VR场景还原系统对RTG作业场景进行3D实时渲染，还原港口轮胎吊作业真实场景；3D图形渲染引擎，用于以港口真实场景为蓝本，从预设的JSON接口中读取TOS生产系统中的动态数据，用于构建实训系统中的场景元素，形成港口轮胎吊VR实训系统；空间音效和物理系统的整合系统；VR交互服务器，与所述至少一个客户端相连，用于实现与所述至少一个客户端的场景位置、物理数据同步和广播。应用本发明实施例，提升了整体培训质量，降低实操过程中的人为错误率，从而间接地节省了维护保养预算，降低了因错误带来的停工损失。
Description
技术领域
本发明涉及VR应用技术领域，特别是涉及一种基于VR的轮胎吊实训系统及方法。
背景技术
现代化大型装卸机械设备被普遍应用于港口生产作业中，为了能最大化发挥这些现代化机械的功效，港口企业需要打造一支能够熟练操作这些设备的技能型工人队伍。在传统的工业大型机械化培训中，由于大型设备数量有限、成本昂贵，并且只能在特定的场景下使用，因此造成了培训成本居高不下，培训周期漫长，难以对机械设备的内部关键构造有直观理解，培训场景和生产作业场景难以分离，生产安全难以得到保障。VR技术的兴起，为大型工业设备的培训提供了很好的解决方案。VR技术根据真实的三维信息和数学模型，利用计算机模拟产生出的可视化显示，提供给参与者视觉、听觉、触觉的感受，使参与者产生身临其境的感觉。参与者可以自由、无限制的漫游、观察三维空间中的场景，甚至与虚拟物体互动。与传统培训方式相比，VR培训效率能够提升33％，从而降低33％的培训成本。同时由于培训时间的缩短，反而提升了整体培训质量，降低实操过程中的人为错误率，从而间接地节省了维护保养预算，降低了因错误带来的停工损失。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于VR的轮胎吊实训系统及方法，充分利用VR技术的优势有效地解决了传统工业大型化机械培训中，大型设备数量有限、成本昂贵，培训成本居高不下，周期漫长，生产安全难以得到保障等问题，提升了整体培训质量，降低实操过程中的人为错误率，从而间接地节省了维护保养预算，降低了因错误带来的停工损失，以及，通过实训系统和方法用于解决传统工业大型化机械培训中，大型设备数量有限、成本昂贵，培训成本居高不下，培训周期漫长，生产安全难以得到保障等问题。
为实现上述目的及其他相关目的，本发明提供一种基于VR的轮胎吊实训系统，所述系统包括：
显示设备；
控制设备，包括：VR动感座椅，用于模拟运行状态；VR一体化套装，包括VR头盔、VR手柄；其中，所述VR头盔用于模拟视觉和听觉，所述VR手柄，用于空间定位；VR手势识别设备，用于捕捉操作者双手在空间中的位置和动作，映射回VR虚拟空间显示，并模拟识别港口大型设备主控台的按钮动作；控制遥杆，用于模拟设备主令手柄操作；RTG左右手模拟控制台，用于控制虚拟空间中按钮操作手感模拟操作；
至少一个客户端，其中，每一个客户端包括VR控制台，用于分别与所述控制设备与所述显示设备通信相连；
所述客户端包括：
VR基础技术框架和港口VR场景还原系统对RTG作业场景进行3D实时渲染，还原港口轮胎吊作业真实场景；
3D图形渲染引擎，用于以港口真实场景为蓝本，从预设的JSON接口中读取TOS生产系统中的动态数据，用于构建实训系统中的场景元素，形成港口轮胎吊VR实训系统；
空间音效和物理系统的整合系统，用于模拟不同材质物体物理作用力所产生的音效以及空间背景音效的整合，模拟不同模型材质之间物理作用力所产生的的音效，并在VR场景中还原基于距离和位移的双耳音效；
VR交互服务器，与所述至少一个客户端相连，用于实现与所述至少一个客户端的场景位置、物理数据同步和广播。
本发明的一种实现方式中，所述客户端还包括：训练模拟模块，用于将不同的VR设备空间可以定位映射到同一虚拟VR场景。
本发明的一种实现方式中，所述系统还包括港口VR场景还原系统，用于：
基于物理的双目VR视觉Shader，至少模拟水、雪、雨、风；
采用3Dmax或Maya模型制作工具进行3D建模；
采用PBR次世代材质模拟反射效果；
采用Enlighten预计算全局光照，实时模拟从白天到夜晚整个光线的变化，并且同时计算直接光照和间接光照，使得物体和物体之间的光照影响被充分考虑，模拟出真实环境中不同物体在不同光照下的明暗差异、色彩变化以及阴影；
利用前向渲染和延迟渲染，进行动态光源的实时更新计算。
本发明的一种实现方式中，所述RTG左右手模拟控制台中的左控制台包括：小车向前/后手柄、控制合/复位带灯按钮、吊具电源通带灯按钮、单吊具电源断按钮、大车纠偏前侧/后侧小手柄、吊具回转左旋/右旋小手柄、吊具旁路按钮。
所述RTG左右手模拟控制台中的右控制台包括：
起升上升/下降大车向左/向右主令手柄、吊具带灯按钮、吊具旋锁开闭选择开关以及行程旁路按钮。
本发明的一种实现方式中，还包括Web管理服务器，所述VR交互服务器和各个客户端通过Socket连接，进行实时状态管理同步、数据管理同步，能够提供多人在线支持，并和Web管理服务器交互中转管理指令，上报实训数据。
本发明的一种实现方式中，所述VR基础技术框架和港口VR场景还原系统对RTG作业场景进行3D实时渲染，还原港口轮胎吊作业真实场景，包括：
采用尺度不变特征变换算法和最近邻方法对采集到的港口场景图片进行特征点提取和匹配；
通过足够数量的匹配特征点，采用BundleAdjust算法调整优化相机参数和空间位置坐标，求取相机投影矩阵，确定每个特征点的三维空间坐标，得到稀疏点云；
选择针对生长点的清晰图片作为参考图片，不断迭代优化生长点的空间位置和方向，直至两幅图片中对应窗口内的灰度分布成比例关系，具体比例关系为IR(s+i，t+j)＝CK×IK[(s+i，t+j)K]；其中，IR和IK分别为先选的参考图的灰度值和后选的辅助图片的灰度值；(s,t)为生长点投影到参考图中的像素坐标；(s+i,t+j)，(s+i，t+j)K分别为参考图片和辅助图片中对应窗口的第(i,j)格点的像素坐标；CK为常数；
采用
进行二重曲面拟合，如果优化后的生长点与拟合曲面相距不远且与其对应的拟合曲面方向相差在阈值内，则用此次结果替换之前结果，反之不替换；
采用泊松表面重建算法将稠密点云模型转换为表面网络模型，结合从预设的JSON接口中读取TOS生产系统中的动态数据，用于构建港口轮胎吊VR实训系统中的场景元素。
此外，还提供了一种基于VR的轮胎吊实训方法，包括步骤：
发送客户端登录请求至VR交互服务器，并接收所述VR交互服务器的应答指令；
所述客户端发送场景位置、物理数据同步请求/广播至所述VR交互服务器；
发送实训统计数据至所述VR交互服务器；
所述VR交互服务器将登陆请求信息、登陆应答信息、实训数据发送至Web管理服务器。
如上所述，本发明实施例提供的一种基于VR的轮胎吊实训系统和基于VR的轮胎吊实训系统，充分利用VR技术的优势有效地解决了传统工业大型化机械培训中，大型设备数量有限、成本昂贵，培训成本居高不下，周期漫长，生产安全难以得到保障等问题，提升了整体培训质量，降低实操过程中的人为错误率，从而间接地节省了维护保养预算，降低了因错误带来的停工损失。
附图说明
图1是本发明实施例的基于VR的轮胎吊实训系统的一种结构示意图。
图2是本发明实施例的基于VR的轮胎吊实训系统中第一种应用场景示意图。
图3是本发明实施例的基于VR的轮胎吊实训系统中第二种应用场景示意图。
图4是本发明实施例的基于VR的轮胎吊实训系统中第三种应用场景示意图。
图5是本发明实施例的基于VR的轮胎吊实训系统中第二种结构示意图；
图6是本发明实施例的基于VR的轮胎吊实训系统的第四种应用场景示意图；
图7是本发明实施例的基于VR的轮胎吊实训系统中第五种应用场景示意图；
图8是本发明实施例的基于VR的轮胎吊实训系统中第六种应用场景示意图；
图9是本发明实施例的基于VR的轮胎吊实训系统中第七种应用场景示意图；
图10是本发明实施例的基于VR的轮胎吊实训系统中第八种应用场景示意图；
图11是本发明实施例的基于VR的轮胎吊实训系统中第九种应用场景示意图。
图12是本发明实施例的基于VR的轮胎吊实训系统中第十种应用场景示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
请参阅图1-图11。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明实施例中，如图1所示，基于主流的三维3D图形渲染引擎，利用港口VR模型材质管理系统和动态物理光照为主的港口VR场景还原技术，以港口真实场景为蓝本，采用3Dmax或Maya建模工具和Physx物理引擎+绳索物理模拟插件+布料物理模拟插件，从标准的JSON接口中读取TOS生产系统中的动态数据，用于构建实训系统中的场景元素，还原港口RTG作业场景。
本发明实施例支持主流VR一体化头显设备，用户以第一人称视角体验全720°逼真的三维环境，自主操作，自由行走。场景在PC端显示方式为3D实时渲染，渲染帧数超过60fps，在VR端为双目实时渲染，为防止眩晕感，双目渲染帧数为90fps。能够将VR操作和PC操作完美融合的VRGUI管理技术，交互界面能够根据需要实时的被唤起、转换、变化、消失，能够支撑不同的交互界面形状、交互界面动画方式、交互界面事件和交互操作模式；采用PBRMetallic制作流程，以SubstancePainter和SubstanceDesigner为制作工具，能够逼真还原模型原来的材质。
本发明实施例中，控制设备包括4DVR动感座椅，用于模拟震动、加速度等物理参数，真实还原港口大型设备操作过程中的真实物理效果，例如碰撞、重力、摩擦力、绳索拉力、形变、相互作用力等；VR一体化套装，包括VR头盔、VR手柄，VR头盔用于模拟视觉和听觉，VR手柄用于空间定位；VR手势识别设备，用捕捉操作者双手在空间中的位置和动作，映射回VR虚拟空间显示，并模拟识别港口大型设备主控台的各种按钮动作；控制遥杆，用于模拟设备主令手柄操作；VR控制台，用于提供VR软件运行环境和各种硬件设备的接驳；RTG左右手模控制台，优化在虚拟空间中按钮操作手感模拟。
本发明实施例中选择四轮滑RTG作为模拟对象，加入桥吊、集卡、集装箱船等其他协作大型设备，并在各项指标上支持这些设备。在VR场景中用模型按1:1比例真实还原RTG作业场景。其中静态元素包括港口地基地面、标志线、高压线、海、船、天际线、天空等能够真实还原港口堆场的模型；动态元素主要包括四轮滑RTG、堆场集装箱堆叠方式、不同的集装箱尺寸和样式、集卡等为了实现RTG操作所需要动态生成和移动的元素，动态元素的数据格式来源于TOS生产作业系统的数据格式。
VR控制台，用于分别与所述VR动感座椅、所述VR一体化套装、所述VR手势识别设备、所述控制遥杆和所述RTG左右手模拟控制台通信相连；
空间音效和物理系统的整合系统，用于模拟不同材质物体物理作用力所产生的音效以及空间背景音效的整合，模拟不同模型材质之间物理作用力所产生的音效，并在VR场景中还原基于距离和位移的双耳音效。能够在VR场景中逼真还原基于距离和位移的720°双耳音效，模拟不同模型材质之间物理作用力所产生的音效(例如：集装箱之间的碰撞、集装箱对地碰撞、吊具和集装箱碰撞等)，以及空间背景音效(例如：港口作业背景噪音等)，同时为任务模块提供引导语音音效支持。
为了能够在VR场景中逼真还原基于距离和位移的720°双耳音效，模拟不同模型材质之间物理作用力所产生的音效(例如：集装箱之间碰撞、集装箱对地碰撞、吊具和集装箱碰撞等)，以及空间背景音效(例如：港口作业背景噪音等)，需要研发和调校自主的VR场景物理音效模拟功能。此功能同时为任务模块提供引导语音音效支持。
为了能够在VR场景逼真还原720°双眼视觉的效果，同时兼顾显示性能能够满足市面上已有显卡的需要，需要研发和调校能够同时兼容港口堆场静态和动态场景模型的基于物理的VR光照系统(包括：直射光、间接散射光、菲涅尔效应、阴影、级联阴影等)，以达到正确模拟不同模型物理材质(例如：不同种类金属、水泥、油漆、水面)的VR光照显示方案。同时为24小时光照变换提供底层功能支持。
VR交互服务器，与所述至少一个客户端相连，用于实现与所述至少一个客户端的场景位置、物理数据同步和广播。
进一步的，本发明充分利用VR技术的优势有效地解决了传统工业大型化机械培训中，大型设备数量有限、成本昂贵，培训成本居高不下，周期漫长，生产安全难以得到保障等问题，提升了整体培训质量，降低实操过程中的人为错误率，从而间接地节省了维护保养预算，降低了因错误带来的停工损失。
根据标准定义的场景数据格式，在VR场景中用模型按1：1比例真实还原RTG作业场景。VR场景中的模型元素分为2大类：静态元素和动态元素。静态元素主要指为了真实还原港口堆场所需要的模型，例如：港口地基地面、标志线、高压线、海、船、天际线、天空等；动态元素主要指为了实现RTG操作所需要动态生成和移动的元素，包括：四滑轮RTG，实际应用中，堆场集装箱堆叠方式、不同的集装箱尺寸和样式、集卡。动态元素的数据格式将来兼容TOS系统数据格式导入。
此外，客户端还有支持接入并模拟真实的生产数据作为实训教程，支持多人登录、支持教学考核配置，支持教师角色的后台数据统计，总体满足司机实训的各项要求的Web管理服务器。
进一步的，轮胎吊实训系统和方法，能够实现同一空间(同教室)，甚至是分离空间(不同教室)，不同的VR设备空间可以定位映射到同一虚拟VR场景，支持多人实时在线，实时互动；使用统一抽象的VR控制管理技术，兼容新设备的接入，支撑不同的VR设备，让不同的VR控制设备能够在操控模式上兼容可配置，并支持类似遥控手柄等设备。VR操作教学任务管理系统，将操作教学任务分为不同的难易程度，对应不同的操作复杂度。任务数据可配置化，根据实际教学需求，可自主编写或来自真实的TOS生产作业系统的数据；所有操作教学任务作为课程组成整个教学大纲，有进度管理和数据统计功能。教师可以在后台配置修改教学内容，查看学员的学习情况；学员在VR场景中能够通过VR交互展示系统查看、选择、复习操作任务课程。
此外，操作考核管理系统将操作考核分为不同的难易程度，考核可以根据需要制定不同考核标准，例如：时间评分、操作精确度评分、操作顺序评分、是否有违规操作等。操作考核内容数据和评分标准可配置化，根据实际的考核需求，可自主编写或来自真实的TOS生产作业系统数据；考核任务有进度管理和数据统计功能。教师可以在后台配置修改考核内容，查看学生的考核情况；学员在VR场景中能够通过VR交互展示系统查看、选择操作考核。
可以理解的是，VR交互服务器，提供和各个VR模拟操控系统的实时Socket连接，提供实时状态管理同步、数据管理同步，能够提供多人在线支持，并和Web管理服务器交互中转所有管理指令，上报实训数据。
为了能在VR场景中看到操作者自己的双手，把实际空间和虚拟空间位置、动作完全对应起来；同时为了让操作者能够在虚拟空间中找到并识别出各种操作按钮动作，并且让按按钮时在实际空间中有真实的触感需要，需要研发和调教一套空间手势跟踪、识别和动作模拟的VR控制系统，如图2所示。此系统在本项目模拟RTG的控制台操作。
为了模拟RTG的主要操作功能，在体验上，逼真的还原RTG操作过程中的主要情况，如下：
①起动、停止RTG；②启动、停止吊具；③吊具伸缩：20、40英尺；④吊具旋锁、解锁；⑤吊具倾回转：左右倾、旋转；⑥手柄控制大车左右行走；⑦手柄控制小车前后行走；⑧手柄控制吊具起升。
需要说明的,RTG左手模拟控制台的主令手柄，控制小车向前/向后，可在前后两个方向摆动，控制小车的前进和后退动作。小车的行驶速度与手柄的摆动角度有关。手柄摆动角度越小，速度越低；手柄摆动角度越大，速度越高。手柄为自锁式手柄，手柄在零位时处于锁定状态，必须下压才可以在前后方向移动。手柄为自动回零手柄
RTG右手模拟控制台包括两个带灯按钮，一个可控制合/复位，用于接通起升、小车和大车驱动器的主电源并指示其接通状态。按一下此按钮，主电源被接通，运行状态由按钮所带指示灯指示。如灯亮，说明驱动器主电源已接通，允许起重机进行作业。如灯一闪一闪，说明系统有故障。同时，有故障发生后被解除的故障可用该按钮进行故障复位。另一个用于吊具电源接通，按此开关可启动吊具电机主电源，接通后指示灯亮，允许吊具伸缩、旋锁等动作。
RTG左手模拟控制台的吊具电源切断按钮，按一下该按钮，吊具泵停止工作，同时吊具泵开按钮指示灯熄灭。左控制台用于大车前侧/后侧纠偏的3位弹簧自复中位小手柄，可在大车运行时纠正车轮行走直线度，在大车左右行驶时，把此开关扳到“前侧”位置，则大车运行将偏向前方；把此开关扳到“后侧”位置，则大车运行将偏向后方。左控制台用于吊具左旋/右旋回转的3位弹簧自复中位小手柄，打到左旋时，吊具以逆时针方向偏转一定角度(5度以内)；打到右旋时，吊具以顺时针方向偏转一定角度(5度以内)，手柄回零即停止动作。
RTG左手模拟控制台控制吊具旁路的按钮，按下此按钮，将会把吊具着箱信号旁路掉，允许起升慢速运行，重新将吊具完全正确地着箱，实现正常开闭锁的目的。
如图3和图4所示，RTG右手模拟控制台的主令手柄，用来控制起升上升/下降、大车向左/向右，可在前后左右四个方向摆动。前后方向控制吊具的下降和上升动作，左右方向控制大车的左右行驶。起升和大车的行驶速度与手柄的摆动角度有关。手柄摆动角度越小，速度越低；手柄摆动角度越大，速度越高。手柄为自锁式手柄，手柄在零位时处于锁定状态，必须下压才可以在前后左右四个方向摆动，手柄为自动回零手柄。
RTG右手模拟控制台吊具20尺的带灯按钮，在吊具电源合上后，吊具未着地情况下，按下此按钮，吊具将从40’缩回到20’，到位后指示灯变亮。同样，吊具40尺的带灯按钮，在吊具电源合上后，吊具未着地且两侧无障碍物的情况下，按下此按钮,吊具将从20’伸展到40’，到位后指示灯变亮。
RTG右手模拟控制台上控制吊具旋锁(开锁/闭锁)的2位选择开关，在吊具着箱，着箱灯亮(司机室前方吊具状态指示箱)的情况下，在吊具电源合上后，打到开锁位置，吊具旋锁机构从闭锁状态变成开锁状态，反之则改变成闭锁状态。
右控制台控制行程旁路的按钮，此开关用于旁路起升、小车或大车的行程限位(或测距传感器)，以允许起重机在上述行程限位(或测距传感器)动作的情况下继续运行。当这些限位被动作后，应按下此按钮并保持同时操作有关主令手柄向反方向运行使机构回到允许的行程范围内。
需要说明的是，实际应用过程中，RTG司机通过PC端激活应用拉起系统；系统根据标准定义的数据动态初始化VR场景、任务和设备空间位置；RTG司机带起VR眼镜和耳机，在视觉和听觉上720°感知VR场景中RTG司机室的第一人称视角；RTG司机在VR场景中听到和看到当前任务提示，通过手势跟踪识别设备在虚拟空间中看到自己手的位置和手势，并能准确操作虚拟空间中RTG控制台的按钮；通过模拟控制台模拟按钮操作手感；通过操作遥控杆，模拟RTG主令手柄操作和手感；根据提示完成其中一项或多项操作模拟任务。
可以理解的是，VR交互服务器，如图5所示，支持Socket大批量并发长连接，支持自主数据Diagram压缩编码，支持实训操控端交互，支持多人系统实训。同时，实施服务器可以和Web管理服务器通讯，作为管理中转站，协调所有实时VR客户端和HTTPRestfulAPIWeb管理服务器。
如图6所示，用户打开实训系统web端界面后，系统显示登录界面，可以选择登录或注册新用户，管理员用户属于某码头用户组或集团培训中心等部门。然后，VR终端登录，由web服务端提供登录和登出接口(restfulAPI)，VR终端提供轮胎吊司机(每个VR终端固定一个轮胎吊编号，如R801，R802等)登录的功能(VR终端PC上登录(用户名密码或微信登录))。
如图7所示，Web系统登录后系统显示的RTGVRweb端主界面。界面导航栏包括：RTGVR指令，RTGVR实训监控，RTGVR实训分析，系统设置功能，通过导航栏选择，打开相关功能界面区域，默认情况下，主界面包含四个区域，导航栏区域，RTGVR作业监控区域，RTGVR作业机械区域，RTGVR堆场作业指令区域。
堆场作业指令界面，如图7所示，可以在主界面直接操作，或者在导航栏选择后，在主界面展开后进行操作和编辑。所有堆场作业指令为VR系统默认的可以操作的作业指令(预设指令)，作业指令集合在VR终端系统中，已经预设好，不可以修改(可修改分配的轮胎吊)。手动选择轮胎吊，选择每一个堆场指令对应的轮胎吊，或者可以从历史指令轮胎吊分配模板中，如图8所示，加载指令轮胎吊分配方案。手动选择的指令方案可以保存为新的指令分配模板。
RTG作业机械界面，如图9所示，可以监控RTG的终端登录状态，如是否登录，登录司机，分配的指令(实训过程中，RTGVR终端分配指令用不同颜色底色代表完成状态，如白色未完成，蓝色已完成)等。手动修改，每一台RTGVR终端的实训模式：普通或新手。在新手模式中，RTGVR终端，在实训中，RTGVR终端会提供如驾驶路径导引等更多的提示信息；手动修改，每一台RTGVR终端的实训场景，如天气和风力(目前版本预设同一局中所有终端实训场景保持一致)。管理员做好指令和轮胎吊的设置后，点选实训开始按钮，开始一局新的实训(实训编号唯一，目前预设系统只能同时开始和监控一局，包括一个或多个VR终端)，驾驶员完成实训，或确定退出后。管理员点选实训结束按钮，一局实训结束，系统输出实训分析报告。
RTG实训监控界面，如图10所示，可以在主界面直接监控，或者在导航栏选择后，在主界面展开后进行监控和查询。RTG实训监控界面用图形化的方式显示堆场全局图，显示各轮胎吊的移动(一个通道或箱区可以包括一到多个轮胎吊)，位置，和作业情况，如，当前作业指令，移动距离(大车，小车，吊具)，目前的评分和扣分情况等；RTG实训监控界面滚动显示当前发生的实训事件，如司机登录，RTG大车移动，RTG小车移动，RTG闭锁，作业完成，异常事件(碰撞，操作错误等)，等。
管理员可以根据要求选择组合查询过滤条件(一局结束后，查询条件中默认为局局编号)，查询条件，包括：实训时间，实训局编号，司机姓名工号，RTG编号，箱区编号等。分析报告显示，查询范围内的司机得分情况(多局取平均分)，以及扣分原因汇总(需设计表单输出报告)。分析报告显示，实训OEE分析，分析显示司机操作的分段时间耗损(可按指令或按轮胎吊两个维度显示)(低优先级)。分析报告显示，实训分时作业汇总分析，分析显示司机在各箱区的分时作业情况汇总信息，包括：作业任务数量和类型，平均分数，作业时间消耗，扣分原因汇总等(低优先级)。如图11所示，分析报告显示，实训RTG作业轨迹分析，分析和记录司机作业轨迹，包括：作业类型，作业位置和移动轨迹，移动距离，特殊时间(如扣分事件)，作业时间消耗，等(低优先级)。
本发明的一种具体实现中，VR基础技术框架和港口VR场景还原系统对RTG作业场景进行3D重建，还原港口轮胎吊作业真实场景；主要包括以下步骤：
a.采用尺度不变特征变换算法(SIFT)和最近邻方法对采集到的港口场景图片进行特征点提取和匹配；
b.通过足够数量的匹配特征点，采用BundleAdjust算法调整优化相机参数和空间位置坐标，求取相机投影矩阵，确定每个特征点的三维空间坐标，得到稀疏点云；
c.选择针对生长点的清晰图片作为参考图片，不断迭代优化生长点的空间位置和方向，直至两幅图片中对应窗口内的灰度分布成比例关系。具体比例关系为IR(s+i，t+j)＝CK×IK[(s+i，t+j)K]；其中，IR和IK分别为先选的参考图的灰度值和后选的辅助图片的灰度值；(s,t)为生长点投影到参考图中的像素坐标；(s+i,t+j)，(s+i，t+j)K分别为参考图片和辅助图片中对应窗口的第(i,j)格点的像素坐标；CK为常数；
d.采用
进行二重曲面拟合，如果优化后的生长点与拟合曲面相距不远且与其对应的拟合曲面方向相差在阈值内，则用此次结果替换之前结果，反之不替换；
e.采用泊松表面重建算法将稠密点云模型转换为表面网络模型，结合从预设的JSON接口中读取TOS生产系统中的动态数据，用于构建港口轮胎吊VR实训系统中的场景元素。
采用PBR次世代材质贴图制作方法，逼真地模拟出反射效果，由于港口作业环境和港口机械的作色平面不是一个完美的反射平面，引入Microfacet概念，如图12所示。其中L表示光源，v表示视线，h表示法向，θ表示入
其中，F反射率取入射光的位置信息P1(x1，y1，z1)，法向与入射光的焦点P2(x2，y2，z2)
PBR渲染流程：
(1)对PBR处理过的模型文件，加载基网格文件；
(2)将PBR的增量网格文件乘以I-1，逐步加载所有的增量网格文件；
(3)对于PBR处理好的模型文件进行检测，判断文件是否可以进行恢复工作，如果可以则将文件的顶点信息乘以塌陷矩阵的逆矩阵A-1，并进行多次反向迭代；如果不可以，则检测下一个文件；
(4)通过文件所对应的索引找出文件的重复次数N，将文件通过l1，l2……lN这N个索引进行构件的复制与位置的移动；
(5)判断出射光能是否小于入射光能，如果是采用预设公式计算反射效果；
其中，预设公式为：
其中，α为粗糙度的平方，L表示光源，v表示视线，h表示法向。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (6)
1.一种基于VR的轮胎吊实训系统，其特征在于，所述系统包括：
控制设备，包括：VR动感座椅，用于模拟运行状态；VR一体化套装，包括VR头盔、VR手柄；其中，所述VR头盔用于模拟视觉和听觉，所述VR手柄，用于空间定位；VR手势识别设备，用于捕捉操作者双手在空间中的位置和动作，映射回VR虚拟空间显示，并模拟识别港口大型设备主控台的按钮动作；控制遥杆，用于模拟设备主令手柄操作；RTG左右手模拟控制台，用于控制虚拟空间中按钮操作手感模拟操作；
显示设备；
至少一个客户端，其中，每一个客户端包括VR控制台，用于分别与所述控制设备与所述显示设备通信相连；
所述客户端还包括：
VR基础技术框架和港口VR场景还原系统对RTG作业场景进行3D实时渲染，还原港口轮胎吊作业真实场景；
3D图形渲染引擎，用于以港口真实场景为蓝本，从预设的JSON接口中读取TOS生产系统中的动态数据，用于构建实训系统中的场景元素，形成港口轮胎吊VR实训系统；
空间音效和物理系统的整合系统，用于模拟不同材质物体物理作用力所产生的音效以及空间背景音效的整合，模拟不同模型材质之间物理作用力所产生的的音效，并在VR场景中还原基于距离和位移的双耳音效；
VR交互服务器，与所述至少一个客户端相连，用于实现与所述至少一个客户端的场景位置、物理数据同步和广播；
所述VR基础技术框架和港口VR场景还原系统对RTG作业场景进行3D实时渲染，还原港口轮胎吊作业真实场景，包括：
采用尺度不变特征变换算法和最近邻方法对采集到的港口场景图片进行特征点提取和匹配；
通过足够数量的匹配特征点，采用Bundle Adjust算法调整优化相机参数和空间位置坐标，求取相机投影矩阵，确定每个特征点的三维空间坐标，得到稀疏点云；
选择针对生长点的清晰图片作为参考图片，不断迭代优化生长点的空间位置和方向，直至两幅图片中对应窗口内的灰度分布成比例关系，具体比例关系为IR(s+i,t+j)＝CK×IK[(s+i,t+j)K]；其中，IR和IK分别为先选的参考图的灰度值和后选的辅助图片的灰度值；(s,t)为生长点投影到参考图中的像素坐标；(s+i,t+j)，(s+i,t+j)K分别为参考图片和辅助图片中对应窗口的第(i,j)格点的像素坐标；CK为常数；
采用
进行二重曲面拟合，如果优化后的生长点与拟合曲面相距不远且与其对应的拟合曲面方向相差在阈值内，则用此次结果替换之前结果，反之不替换；
采用泊松表面重建算法将稠密点云模型转换为表面网络模型，结合从预设的JSON接口中读取TOS生产系统中的动态数据，用于构建港口轮胎吊VR实训系统中的场景元素。
2.根据权利要求1一种基于VR的轮胎吊实训系统，其特征在于，所述客户端还包括：训练模拟模块，用于将不同的VR设备空间可以定位映射到同一虚拟VR场景。
3.根据权利要求1或2一种基于VR的轮胎吊实训系统，其特征在于，所述系统还包括港口VR场景还原系统，用于：
基于物理的双目VR视觉Shader，至少模拟水、雪、雨、风；
采用3Dmax或Maya模型制作工具进行3D建模；
采用PBR次世代材质模拟反射效果；
采用Enlighten预计算全局光照，实时模拟从白天到夜晚整个光线的变化，并且同时计算直接光照和间接光照，使得物体和物体之间的光照影响被充分考虑，模拟出真实环境中不同物体在不同光照下的明暗差异、色彩变化以及阴影；
利用前向渲染和延迟渲染，进行动态光源的实时更新计算。
4.据权利要求3一种基于VR的轮胎吊实训系统，其特征在于，所述RTG左右手模拟控制台中的左控制台包括：小车向前/后手柄、控制合/复位带灯按钮、吊具电源通带灯按钮、单吊具电源断按钮、大车纠偏前侧/后侧小手柄、吊具回转左旋/右旋小手柄、吊具旁路按钮；
所述RTG左右手模拟控制台中的右控制台包括：
起升上升/下降大车向左/向右主令手柄、吊具带灯按钮、吊具旋锁开闭选择开关以及行程旁路按钮。
5.据权利要求4一种基于VR的轮胎吊实训系统，其特征在于，还包括Web管理服务器，所述VR交互服务器和各个客户端通过Socket连接，进行实时状态管理同步、数据管理同步，能够提供多人在线支持，并和Web管理服务器交互中转管理指令，上报实训数据。
6.据权利要求1一种基于VR的轮胎吊实训系统，其特征在于，所述采用PBR次世代材质模拟反射效果，包括：
对PBR处理过的模型文件，加载基网格文件；
将PBR的增量网格文件乘以I-1，逐步加载所有的增量网格文件；
对于PBR处理好的模型文件进行检测，判断文件是否可以进行恢复工作，如果可以则将文件的顶点信息乘以塌陷矩阵的逆矩阵A-1，并进行多次反向迭代；
果不可以，则检测下一个文件；
通过文件所对应的索引找出文件的重复次数N，将文件通过l1,l2……lN这N个索引进行构件的复制与位置的移动；
判断出射光能是否小于入射光能，如果是采用预设公式计算反射效果；
预设公式为：
其中，α为粗糙度的平方，L表示光源，v表示视线，h表示法向。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910538498.XA CN110879660B (zh) | 2019-06-20 | 2019-06-20 | 一种基于vr的轮胎吊实训系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910538498.XA CN110879660B (zh) | 2019-06-20 | 2019-06-20 | 一种基于vr的轮胎吊实训系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110879660A CN110879660A (zh) | 2020-03-13 |
| CN110879660B true CN110879660B (zh) | 2023-05-26 |
Family
ID=69727707
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910538498.XA Active CN110879660B (zh) | 2019-06-20 | 2019-06-20 | 一种基于vr的轮胎吊实训系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110879660B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113837536A (zh) * | 2021-08-18 | 2021-12-24 | 宁波北仑涌和集装箱码头有限公司 | 一种桥吊、龙门吊司机实时智能评价方法及其系统 |
| CN115840735A (zh) * | 2023-02-23 | 2023-03-24 | 北京易智时代数字科技有限公司 | 一种扩展现实的实训内容处理方法、客户端及服务器 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107331235A (zh) * | 2017-07-28 | 2017-11-07 | 西南交通大学 | 集装箱门式起重机模拟操作全景仿真系统及方法 |
| CN108939550A (zh) * | 2018-06-26 | 2018-12-07 | 魔力小鸟（北京）信息技术有限公司 | 模拟环境与虚拟角色交互式控制及可视化管理的系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105373224B (zh) * | 2015-10-22 | 2016-06-22 | 山东大学 | 一种基于普适计算的混合现实游戏系统及方法 |
-
2019
- 2019-06-20 CN CN201910538498.XA patent/CN110879660B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107331235A (zh) * | 2017-07-28 | 2017-11-07 | 西南交通大学 | 集装箱门式起重机模拟操作全景仿真系统及方法 |
| CN108939550A (zh) * | 2018-06-26 | 2018-12-07 | 魔力小鸟（北京）信息技术有限公司 | 模拟环境与虚拟角色交互式控制及可视化管理的系统 |
Non-Patent Citations (1)
| Title |
|---|
| 王少梅,张煜.港口物流系统仿真建模及三维可视化研究.港口装卸.2002,(06),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110879660A (zh) | 2020-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106530892B (zh) | 模拟三维场景六自由度传感的飞行模拟器及飞行模拟方法 | |
| CN203366575U (zh) | 一种小型飞机飞行训练器 | |
| CN103531051A (zh) | 一种起重机操作的虚拟现实训练方法及模拟器 | |
| CN110879660B (zh) | 一种基于vr的轮胎吊实训系统及方法 | |
| CN102663921A (zh) | 船舶驾驶与操作多通道多屏幕三维立体沉浸式仿真系统 | |
| CN104103091B (zh) | 3d智能建模方法和系统及3d模型柔性制造系统 | |
| CN110335359B (zh) | 基于虚拟现实技术的配电盘着火事故应急演练模拟方法 | |
| CN106781810B (zh) | 基于3d虚拟仿真系统的风力发电机对中维护操作方法 | |
| CN109448137A (zh) | 交互方法、交互装置、电子设备及存储介质 | |
| CN102323996A (zh) | 基于三维gis技术的输电线路可视化状态监测系统 | |
| CN207883156U (zh) | 一种景区模拟飞行体验装置 | |
| CN111047708B (zh) | 一种基于混合现实的复杂设备高风险项目训练系统 | |
| CN203721060U (zh) | 一种起重机操作的虚拟现实模拟器 | |
| CN110738901A (zh) | 一种飞行模拟机 | |
| CN104035338A (zh) | 一种多发动机的直升机动力系统动态匹配的仿真方法 | |
| CN110379240A (zh) | 一种基于虚拟现实技术的水电站检修仿真培训系统 | |
| CN209056108U (zh) | 基于混合现实和多自由度运动平台的飞行训练模拟系统 | |
| CN201364657Y (zh) | 一种船舶机舱虚拟现实仿真系统 | |
| CN101452651A (zh) | 船舶机舱虚拟现实仿真系统 | |
| CN106570926A (zh) | 一种飞行视景仿真中高效的粒子云层绘制方法 | |
| CN104361781A (zh) | 塔机仿真模拟系统 | |
| CN110246389A (zh) | 一种客梯车培训系统及方法 | |
| CN107610233A (zh) | 一种基于实景的仿真场景构建方法 | |
| CN107624627A (zh) | 一种基于虚拟现实的农业灌溉系统 | |
| CN108549479B (zh) | 多通道虚拟现实的实现方法及系统、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |