CN107331235A - 集装箱门式起重机模拟操作全景仿真系统及方法 - Google Patents

Abstract

本发明提供一种集装箱门式起重机模拟操作全景仿真系统及方法，系统包括电气控制硬件系统和全景仿真软件系统组成：电气控制硬件系统包括起重机操作联动台、PLC控制系统、电气控制柜、驱动电机、3D头盔系统、以及PC机；全景仿真软件系统包括：虚拟三维建模系统、虚拟现实仿真软件系统、三维虚拟场景输出显示系统、学员信息记录数据库、理论考试模块、操作训练模块、考评系统；学员操作起重机联动台等外部硬件，用以太网将操作命令与PC机双向通信，建立一套起重机仿真的数字模型，采用三维图形渲染引擎驱动视景的运动，实现起重机司机操控电气设备对虚拟环境的集装箱进行装卸作业全景仿真操作训练，本发明提高了起重机学员的培训效率以及培训安全性。

Description

集装箱门式起重机模拟操作全景仿真系统及方法

技术领域

本发明属于起重机控制技术领域以及虚拟仿真模拟驾驶培训领域，具体地说，是一种集装箱门式起重机模拟操作全景仿真系统及利用该系统进行集装箱门式起重机模拟操作培训的方法。

背景技术

集装箱运输已近成为世界货运的大趋势。集装箱门式起重机在现代物流中发挥着重要的作用。目前，集装箱门式起重机驾驶员的培训是通过师傅带徒弟的方式来学习。这种方法对新学员存在较大的安全风险、培训时间长、对设备的耗损严重、还受培训器材等限制。另一方面，起重机作为一种特种设备，驾驶员应学会一些特殊紧急情况下的处理方法，但在传统的培训方式中除了一些理论知识外，没有实际的处理紧急情况的锻炼。随着变频传动技术及计算机控制技术的发展，大量新技术、新产品及新工艺应用于现代起重机，使起重机朝着机电一体化、信息智能化、大型化节能化、高效化的方向发展。集装箱起重机驾驶培训与管理相对于传统起重机及管理模式已经发生了巨大的改变，对集装箱起重机提出了更高的安全要求。

国外研究状况：美国Globalsim公司、英国TSI公司、荷兰STC公司和瑞士ABB公司等相继研制起重机仿真操作系统。国外的仿真系统相对于国内的起重机而言存在的缺点有：集装箱起重机的型号与国内的起重机不同；没有适合国情的考评系统；价格昂贵。国内华中科技大学、北京建筑大学等科研机构也有类似的仿真系统，但研究的对象较少的涉及集装箱起重机，并且大部分仿真模型是数字仿真模型。

传统的集装箱起重机学员的培训安全性不高并且培训周期较长。随着虚拟现实技术的不断的成熟，以及相关配套的硬件设备、软件业日益丰富，虚拟现实技术在越来越多的领域得到了运用。为此，研究与开发集起重机机械、电气控制、虚拟现实技术、自动化技术于一体的集装箱门式起重机模拟操作全景仿真系统，用于集装箱门式起重机驾驶员的培训成为可能。采用虚拟现实技术，实现集装箱门式起重机司机的仿真培训是起重机发展的一个前沿课题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种集装箱门式起重机模拟操作全景仿真系统及利用该系统进行集装箱门式起重机模拟操作的方法。

为实现上述发明目的，本发明技术方案如下：

一种集装箱门式起重机模拟操作全景仿真系统，包括电气控制硬件系统和全景仿真软件系统：

电气控制硬件系统包括起重机操作联动台、PLC控制系统、电气控制柜、驱动电机、3D头盔系统、以及PC机；其中：起重机操作联动台包括多个档位的主令控制器以及相关控制开关，用于采集学员的操作命令；PLC控制系统根据接收到的联动台的操作信号，执行内部逻辑程序，并输出执行命令；电气控制柜用于执行PLC控制系统的输出指令；驱动电机包含起升机构电机、大车运行电机、小车运行电机、旋转机构电机，驱动电机受电气控制柜的控制，用于发出真实的电机加减速声响并产生振动，从而模拟集装箱装卸作业工作环境；PC机中安装全景仿真软件系统，PC机与PLC控制器通过工业以太网双向通信；3D头盔系统和PC机连接，用于全景仿真画面的输出显示；

全景仿真软件系统包括：虚拟三维建模系统、虚拟现实仿真软件系统、三维虚拟场景输出显示系统、学员信息记录数据库、理论考试模块、操作训练模块、考评系统；其中：虚拟三维建模系统用于建立集装箱货场的三维模型并进行渲染；虚拟现实全景仿真系统用于为起重机司机提供集装箱起吊、旋转以及卸载操作的VR虚拟训练；三维虚拟场景输出显示系统用于将虚拟现实仿真软件系统的集装箱起重机的装卸作业过程画面通过投影仪和3D头盔进行显示；学员信息记录数据库包含学员个人的基本信息以及培训考核记录资料；理论考试模块包含起重机操作的基础知识以及安全操作规范；操作训练模块用于学员操作联动台完成全景仿真模拟系统中的集装箱装卸作业操作；考评系统用于对学员的理论知识以及全景仿真模拟系统中的集装箱装卸作业操作进行考核，并根据考核情况打分。

作为优选方式，虚拟三维建模系统采用Solidworks建立集装箱货场的三维模型，并导入到3DS MAX中进行渲染。

作为优选方式，虚拟现实全景仿真系统是采用OGRE驱动集装箱货场模型资源，并采用Visual Studio平台对OGRE图形引擎进行二次开发。

作为优选方式，所述虚拟三维建模系统，在集装箱门式起重机结构特点和工作特点基础上，对集装箱门式起重机以及货场场景进行简化处理，采用三维建模工具3DS MAX建立集装箱起重机和货场场景的三维动态仿真模型，三维场景模型包括：集装箱起重机、起重机行走轨道、集装箱、火车、铁路轨道，其中起重机、装卸作业的集装箱以及摄像机是运动的，其他的物体是静态不动的。

作为优选方式，虚拟现实仿真软件系统，利用OgreMax将3DS MAX中建立的起重机与货场模型，转换成OGRE工程模型资源；应用OGRE图形渲染引擎进行图形的渲染驱动，基于Visual Studio对OGRE图形渲染引擎编写程序，开发出集装箱起重机的全景仿真系统，实现起重机操控实物电气设备对虚拟仿真环境中的起重机进行装卸作业控制，三维模型作为OGRE场景中的活动对象，通过人机接口实现对运动三维模型的控制和操作；人机接口主要通过三种方式:OIS接口、CEGUI接口以及联动台用以太网与PC机通讯。

作为优选方式，基于Visual Studio平台对OGRE图形渲染引擎编写程序时，对于钢丝绳的升降问题，通过给钢丝绳添加一个边界区域轴向平行包围盒，并监听边界区域以内的钢丝绳，从而实现模拟钢丝绳的升降操作；采用四元数旋转方法实现钢丝绳和集装箱起重机吊具的360度旋转；在集装箱对位检测中，分别给吊具以及被装卸集装箱一个边界区域轴向平行包围盒，判断它们在水平面空间范围是否满足规定的范围误差，如果吊具与集装箱的空间位置误差在允许范围内，则吊具完成集装箱的对位作业；货场内物体的碰撞检测算法采用轴对齐包围盒方法，分别定义动态物体和静态物体的轴向平行包围盒，然后判断其是否相交，如果相交则发生碰撞，仿真系统发出碰撞警告，并同时将碰撞信息记录到学员的培训数据库中。

作为优选方式，学员信息记录数据库，能够添加、修改以及删除学员的基础个人信息，同时，能够记录学员的训练时间长度、理论考试成绩、操作训练的失误以及每次训练的得分等情况。

为实现上述发明目的，本发明还提供一种利用上述系统进行集装箱门式起重机模拟操作的方法，该方法为：学员通过操作联动台上的主令控制器发出控制命令，PLC控制系统接收到命令信号后，执行内部控制程序，控制起重机大车运行电机、小车运行电机、旋转机构以及起升电机的转动，同时控制命令通过以太网通讯方式传输给PC机；PC机驱动全景仿真软件系统使虚拟的集装箱起重机执行相对应的大车运动、小车运动、吊具起升、吊具伸缩、吊具开闭锁的动作，在虚拟仿真环境中实现对集装箱门式起重机的装卸作业过程的全景仿真操作训练，同时，通过投影仪显示虚拟起重机的装卸作业画面，学员带上3D头盔，实现360度全景观察集装箱货场的装卸作业情况，学员的操作信息被记录在学员信息数据库中，同时，根据考评系统，对学员的理论知识考核以及实际集装箱装卸作业操作进行考核评分。

本发明的有益效果为：本发明以虚拟仿真技术为基础生成逼真的视、听觉一体化的集装箱货场的虚拟仿真环境，学员操作起重机联动台等外部硬件，实现了起重机司机操控实物电气设备对虚拟环境中的集装箱进行起吊、旋转以及卸载等操作控制。从而提高起重机学员的培训效率以及培训安全性，并对学员的培训成绩进行考核评分，全景仿真系统的虚拟场景通过投影仪以及VR头盔输出，司机可以三维立体360度全景观察虚拟货场空间内的集装箱装卸作业状况，本发明为培训起重机司机提供了科学先进的手段，提高了起重机学员的培训效率以及培训安全性。

附图说明

图1为本发明系统的硬件组成。

图2为本发明系统的总体人机交互的软硬件框架图。

图3为本发明的三维集装箱货场模型的建立步骤图。

图4为本发明的三维集装箱货场模型的驱动原理图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

如图1所示，一种集装箱门式起重机模拟操作全景仿真系统，包括电气控制硬件系统和全景仿真软件系统：

电气控制硬件系统包括起重机操作联动台、PLC控制系统、电气控制柜、驱动电机、3D头盔系统、以及PC机；其中：起重机操作联动台包括多个档位的主令控制器以及相关控制开关，用于采集学员的操作命令；PLC控制系统根据接收到的联动台的操作信号，执行内部逻辑程序，并输出执行命令；电气控制柜用于执行PLC控制系统的输出指令；电气控制柜中的变频器以及各电器元件，控制各个运行机构的电机正转、反转、变速等。驱动电机包含起升机构电机、大车运行电机、小车运行电机、旋转机构电机，驱动电机受电气控制柜的控制，用于发出真实的电机加减速声响并产生振动，从而模拟集装箱装卸作业工作环境；PC机中安装全景仿真软件系统，PC机与PLC控制器通过工业以太网双向通信；3D头盔系统和PC机连接，用于全景仿真画面的输出显示；

全景仿真软件系统包括：虚拟三维建模系统、虚拟现实仿真软件系统、三维虚拟场景输出显示系统、学员信息记录数据库、理论考试模块、操作训练模块、考评系统；其中：虚拟三维建模系统用于建立集装箱货场的三维模型并进行渲染；虚拟现实全景仿真系统用于为起重机司机提供集装箱起吊、旋转以及卸载操作的VR虚拟训练；三维虚拟场景输出显示系统用于将虚拟现实仿真软件系统的集装箱起重机的装卸作业过程画面通过投影仪和3D头盔进行输出显示；学员信息记录数据库包含学员个人的基本信息以及培训考核记录资料；理论考试模块包含起重机操作的基础知识以及安全操作规范；操作训练模块用于学员操作联动台完成全景仿真模拟系统中的集装箱装卸作业操作；考评系统用于对学员的理论知识以及全景仿真模拟系统中的集装箱装卸作业操作进行考核，并根据考核情况打分。

全景仿真软件系统在PC机上运行，可以直接用鼠标与键盘进行操作。同时，起重机的PLC控制器用以太网通讯的方式，与PC机进行双向数据信息通信。PC机驱动全景仿真软件系统，实现司机对仿真系统中虚拟起重机的控制。学员可以带上三维数字头盔，学员的视线范围可以随着头部的摆动而改变，从而提高培训的逼真程度。

虚拟三维建模系统采用Solidworks建立集装箱货场的三维模型，并导入到3DSMAX中进行渲染。所述虚拟三维建模系统，在集装箱门式起重机结构特点和工作特点基础上，对集装箱门式起重机以及货场场景进行简化处理，采用三维建模工具3DS MAX建立集装箱起重机和货场场景的三维动态仿真模型，三维场景模型包括：集装箱起重机、起重机行走轨道、集装箱、火车、铁路轨道，其中起重机、装卸作业的集装箱以及摄像机是运动的，其他的物体是静态不动的。

图3是本发明三维集装箱货场模型的建立步骤图。首先收集集装箱起重机图纸、集装箱货场的布局图纸、集装箱的尺寸以及货场周围的环境等数据信息。然后，根据集装箱门式起重机模型操作仿真系统的目的和侧重点，对获取到的数据进行优化处理并采用3DSMAX进行建模。在保证一定的逼真度的前提条件下，尽量减少仿真系统中物体所需要单元面的数量。根据铁路货场的实际情况，建立虚拟的三维场景模型。三维场景模型包括：可以运动的起重机、装卸作业的集装箱、火车等物体；以及其他静态的物体如起重机行走轨道、火车等。采用材质编辑器对材质以及贴图进行建立和编辑，并通过最后的渲染显示出物体不同的质地、色彩和纹理。然后用OgreMax将3DS MAX建立的三维模型转换为OGRE可识别的模型资源，建立集装箱货场三维模型。

虚拟现实全景仿真系统是采用OGRE驱动集装箱货场模型资源，并采用VisualStudio对OGRE图形引擎进行二次开发。虚拟现实仿真软件系统，利用OgreMax将3DS MAX中建立的起重机与货场模型，转换成OGRE工程模型资源；应用OGRE图形渲染引擎进行图形的渲染驱动，基于Visual Studio平台对OGRE图形渲染引擎编写程序，开发出集装箱起重机的全景仿真系统，实现起重机操控实物电气设备对虚拟仿真环境中的起重机进行装卸作业控制，三维模型作为OGRE场景中的活动对象，通过人机接口实现对运动三维模型的控制和操作；人机接口主要通过三种方式:OIS接口、CEGUI接口以及联动台用以太网与PC机通讯。

图2是本发明人机交互的软硬件框架图。采用OgreMax将3DS MAX的模型导出为Ogre可以识别的资源文件。视景驱动对计算机的运算效率有较大的影响，采用三种方法来提高计算机的运算效率：细节层次模型；实例化技术；纹理映射技术。程序首先初始化三维虚拟集装箱货场的场景，接着Visual Studio平台调入先前建立好的模型资源，包括铁路货场、集装箱起重机、集装箱、货运列车以及周围的建筑等。培训学员操作联动台等硬件设备，通过三维数字头盔以及投影仪等输出集装箱装卸作业的虚拟画面。培训人员控制起重机四大运动机构，完成集装箱虚拟仿真场景内的集装箱装卸作业。驾驶学员通过操纵联动台设备，通过工业以太网与仿真系统双向通信，从而实现对虚拟仿真系统中的集装箱进行装卸作业。

基于Visual Studio平台对OGRE图形渲染引擎编写程序时，对于钢丝绳的升降问题，通过给钢丝绳添加一个边界区域轴向平行包围盒，并监听边界区域以内的钢丝绳，从而实现模拟钢丝绳的升降操作；采用四元数旋转方法实现钢丝绳和集装箱起重机吊具的360度旋转；在集装箱对位检测中，分别给吊具以及被装卸集装箱一个边界区域轴向平行包围盒，判断它们在水平面空间范围是否满足规定范围误差，如果吊具与集装箱的空间位置误差在允许范围内，则吊具完成集装箱的对位作业；货场内物体的碰撞检测算法采用轴对齐包围盒方法，分别定义动态物体和静态物体的轴向平行包围盒，然后判断其是否相交，如果相交则发生碰撞，仿真系统发出碰撞警告，并同时将碰撞信息记录到学员的培训数据库中。

图4为本发明的3D集装箱货场模型的驱动原理图。程序首先初始化三维虚拟集装箱货场的场景，接着Visual Studio平台调入先前建立好的模型资源，包括铁路货场、集装箱起重机、集装箱、货运列车以及周围的建筑等。PC机根据接收到的起重机各个机构的操作控制指令，使用OGRE图形渲染引擎对三维模型进行图形的渲染驱动。仿真软件驱动三维集装箱货场虚拟货场中的起重机的做出相应的动作，在全景仿真视景系统中完成集装箱起重机虚拟的装卸作业场景。

学员信息记录数据库，能够添加、修改以及删除学员的基础个人信息，同时，能够记录学员的训练时间长度、理论考试成绩、操作训练的失误以及每次训练的得分等情况。

理论知识考试针对起重机电气控制原理、起重机操作的基本方法、起重机安全操作技术等内容建立了一套题库，学员在计算机上按随机产生的一份试题进行答题。操作实训考试根据不同的场景、不同的天气、不同运动速度以及不同任务等多种变量的改变，在计算机设定的多个难度逐步增加的训练等级操作内容。

考评系统包含基础理论知识考试和操作实训考试两类。理论知识考试针对起重机构造及组成、起重机操作的注意事项、起重机安全操作技术等内容建立了一套题库，学员在计算机上按随机产生的试题进行答题，以评价学员对起重机基本理论知识的掌握程度。操作实训考试根据不同的作业场景、不同的天气环境、不同机构运行速度以及不同装卸任务等多种变量的改变，仿真系统设定多个难度逐步增加的训练等级，并从中分别随机抽取题目进行操作考试，按照设定的评分标准系统自动给出学员操作考核的分数。

利用上述系统进行集装箱门式起重机模拟操作的方法，该方法为：学员通过操作联动台上的主令控制器发出控制命令，PLC控制系统接收到命令信号后，执行内部控制程序，控制起重机大车运行电机、小车运行电机、旋转机构以及起升电机的转动，同时控制命令通过以太网通讯方式传输给PC机；PC机驱动全景仿真软件系统使虚拟的集装箱起重机执行相对应的大车运动、小车运动、吊具起升、吊具伸缩、吊具开闭锁的动作，在虚拟仿真环境中实现对集装箱门式起重机的装卸作业过程的全景仿真操作训练，同时，通过投影仪显示虚拟起重机的装卸作业画面，学员带上3D头盔，实现360度全景观察集装箱货场的装卸作业情况，学员的操作信息被记录在学员信息数据库中，同时，根据考评系统，对学员的理论知识考核以及实际集装箱装卸作业操作进行考核评分。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (8)

1.一种集装箱门式起重机模拟操作全景仿真系统，其特征在于：包括电气控制硬件系统和全景仿真软件系统：

电气控制硬件系统包括起重机操作联动台、PLC控制系统、电气控制柜、驱动电机、3D头盔系统、以及PC机；其中：起重机操作联动台包括多个档位的主令控制器以及相关控制开关，用于采集学员的操作命令；PLC控制系统根据接收到的联动台的操作信号，执行内部逻辑程序，并输出执行命令；电气控制柜用于执行PLC控制系统的输出指令；驱动电机包含起升机构电机、大车运行电机、小车运行电机、旋转机构电机，驱动电机受电气控制柜的控制，用于发出真实的电机加减速声响并产生振动，从而模拟集装箱装卸作业工作环境；PC机中安装全景仿真软件系统，PC机与PLC控制器通过工业以太网双向通信；3D头盔系统和PC机连接，用于全景仿真画面的输出显示；

全景仿真软件系统包括：虚拟三维建模系统、虚拟现实仿真软件系统、三维虚拟场景输出显示系统、学员信息记录数据库、理论考试模块、操作训练模块、考评系统；其中：虚拟三维建模系统用于建立集装箱货场的三维模型并进行渲染；虚拟现实全景仿真系统用于为起重机司机提供集装箱起吊、旋转以及卸载操作的VR虚拟训练；三维虚拟场景输出显示系统用于将虚拟现实仿真软件系统的集装箱起重机的装卸作业过程画面通过投影仪和3D头盔进行显示；学员信息记录数据库包含学员个人的基本信息以及培训考核记录资料；理论考试模块包含起重机操作的基础知识以及安全操作规范；操作训练模块用于学员操作联动台完成全景仿真模拟系统中的集装箱装卸作业操作；考评系统用于对学员的理论知识以及全景仿真模拟系统中的集装箱装卸作业操作进行考核，并根据考核情况打分。

2.如权利要求1所述的集装箱门式起重机模拟操作全景仿真系统，其特征在于：虚拟三维建模系统采用Solidworks建立集装箱货场的三维模型，并导入到3DS MAX中进行渲染。

3.如权利要求1所述的集装箱门式起重机模拟操作全景仿真系统，其特征在于：虚拟现实全景仿真系统是采用OGRE驱动集装箱货场模型资源，并采用Visual Studio平台对OGRE图形引擎进行二次开发。

4.如权利要求1所述的集装箱门式起重机模拟操作全景仿真系统，其特征在于：所述虚拟三维建模系统，在集装箱门式起重机结构特点和工作特点基础上，对集装箱门式起重机以及货场场景进行简化处理，采用三维建模工具3DS MAX建立集装箱起重机和货场场景的三维动态仿真模型，三维场景模型包括：集装箱起重机、起重机行走轨道、集装箱、火车、铁路轨道，其中起重机、装卸作业的集装箱以及摄像机是运动的，其他的物体是静态不动的。

5.如权利要求1所述的集装箱门式起重机模拟操作全景仿真系统，其特征在于：虚拟现实仿真软件系统，利用OgreMax将3DS MAX中建立的起重机与货场模型，转换成OGRE工程模型资源；应用OGRE图形渲染引擎进行图形的渲染驱动，基于Visual Studio对OGRE图形渲染引擎编写程序，开发出集装箱起重机的全景仿真系统，实现起重机操控实物电气设备对虚拟仿真环境中的起重机进行装卸作业控制，三维模型作为OGRE场景中的活动对象，通过人机接口实现对运动三维模型的控制和操作；人机接口主要通过三种方式:OIS接口、CEGUI接口以及联动台用以太网与PC机通讯。

6.如权利要求5所述的集装箱门式起重机模拟操作全景仿真系统，其特征在于：基于Visual Studio平台对OGRE图形渲染引擎编写程序时，对于钢丝绳的升降问题，通过给钢丝绳添加一个边界区域轴向平行包围盒，并监听边界区域以内的钢丝绳，从而实现模拟钢丝绳的升降操作；采用四元数旋转方法实现钢丝绳和集装箱起重机吊具的360度旋转；在集装箱对位检测中，分别给吊具以及被装卸集装箱一个边界区域轴向平行包围盒，判断它们在水平面空间范围是否满足规定范围误差；如果吊具与集装箱的空间位置误差在允许范围内，则吊具完成集装箱的对位作业；货场内物体的碰撞检测算法采用轴对齐包围盒方法，分别定义动态物体和静态物体的轴向平行包围盒，然后判断其是否相交，如果相交则发生碰撞，仿真系统发出碰撞警告，并同时将碰撞信息记录到学员的培训数据库中。

7.如权利要求1所述的集装箱门式起重机模拟操作全景仿真系统，其特征在于：学员信息记录数据库，能够添加、修改以及删除学员的基础个人信息，同时，能够记录学员的训练时间长度、理论考试成绩、操作训练的失误以及每次训练的得分等情况。

8.利用权利要求1至7任意一项所述的系统进行集装箱门式起重机模拟操作的方法，其特征在于：学员通过操作联动台上的主令控制器发出控制命令，PLC控制系统接收到命令信号后，执行内部控制程序，控制起重机大车运行电机、小车运行电机、旋转机构以及起升电机的转动，同时控制命令通过以太网通讯方式传输给PC机；PC机驱动全景仿真软件系统使虚拟的集装箱起重机执行相对应的大车运动、小车运动、吊具起升、吊具伸缩、吊具开闭锁的动作，在虚拟仿真环境中实现对集装箱门式起重机的装卸作业过程的全景仿真操作训练，同时，通过投影仪显示虚拟起重机的装卸作业画面，学员带上3D头盔，实现360度全景观察集装箱货场的装卸作业情况，学员的操作信息被记录在学员信息数据库中，同时，根据考评系统，对学员的理论知识考核以及实际集装箱装卸作业操作进行考核评分。