CN211349686U - 基于混合现实虚实融合交互的半实物吊装系统 - Google Patents

Abstract

本实用新型公开了基于混合现实虚实融合交互的半实物吊装系统，包括：半实物平台、控制手柄、服务器和混合现实眼镜；其中，所述半实物平台上设置有两个吊装物模型，分别对应起点吊装物和终点吊装物；每个吊装物模型上分别设置有吊索固定分离感应部件和吊装物锁定感应部件；通过半实物平台、吊索固定分离感应部件的插入传感器和吊装物锁定感应部件的角度传感器的设计，实现在混合现实吊装系统的同时，增加和实物相类似的机械结构，让整个混合现实中的操作和实装操作达到高度一致，避免纯虚拟状态下的体验效果差和“漏操作”的问题。

Description

基于混合现实虚实融合交互的半实物吊装系统

技术领域

本实用新型涉及混合现实技术领域，具体涉及一种基于混合现实虚实融合交互的半实物吊装系统。

背景技术

随着中国经济高速发展，国内石油化工、水利水电、基础设施项目等规模越来越大，其单机设备也越来越大型化、精密化；并且由于模块化施工的逐渐推行，体积更大、重量更重的大型模块也不断涌现出来。吊装物的大型化、重型化，使得吊装工艺要求越发严苛，需要保证吊装物的准确吊装与防碰撞，难度远超以往的吊装作业。在现实中，吊装作业存在一定的风险，对于新手的吊装作业，由于其操作不熟练、吊装经验少、处理突发事件能力不足等原因，风险进一步增大。并且在针对新手的吊装训练在过程中，反复的实装训练会对吊装系统有损伤，训练成本高；不训练又会导致新手一直是经验不足，能力得不到提高。为提高新手的吊装能力，培训出高素质的吊装操作员，可以运用混合现实技术实现虚拟的吊装，以避免训练风险。

混合现实技术(MR)是虚拟现实技术的进一步发展，该技术通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。在混合现实的人机交互领域，用户与虚拟世界的交互方式大多采用手势交互、语音交互、手柄交互等方式，这些方式大大简化了人机交互的流程，但是这些交互方式导致虚拟吊装和真实世界的用户操作有很大不同，缺少真实体验，还容易导致操作人员的惯性思维，造成在实际操作中的“漏操作”等错误。

实用新型内容

针对现有技术中存在的问题，本实用新型的目的在于提出基于混合现实虚实融合交互的半实物吊装系统，通过半实物平台和各种传感器的设计，实现在混合现实吊装系统的同时，增加和实物相类似的机械结构，让整个混合现实中的操作和实装操作达到高度一致，避免纯虚拟状态下的体验效果差和“漏操作”的问题。

为了达到上述目的，本实用新型采用以下技术方案予以实现。

基于混合现实虚实融合交互的半实物吊装系统，包括：半实物平台、控制手柄、服务器和混合现实眼镜；其中，所述半实物平台上设置有两个吊装物模型，分别对应起点吊装物和终点吊装物；每个吊装物模型上分别设置有吊索固定分离感应部件和吊装物锁定感应部件；

所述吊索固定分离感应部件用于在对应吊装物模型上进行手动吊索固定或分离操作，同时获取半实物平台上吊索和吊装物模型的固定或分离状态，并将该状态信息传输给服务器；

所述吊装物锁定感应部件用于在对应吊装物模型上进行手动半实物平台与吊装物模型的锁定或解锁操作，获取吊装物模型与半实物平台的锁定或解锁状态，并将该状态信息传输给服务器；

所述服务器用于生成对应的虚拟场景，并将生成的虚拟场景传输给混合现实眼镜；同时，根据接收的吊索的固定或分离状态、吊装物模型与半实物平台的锁定或解锁状态，进行吊装物模型的定位，并实时更新虚拟场景中的吊车、吊装物和吊装平台的位置和状态，进而完成虚拟场景中的吊装操作；

所述混合现实眼镜供用户佩戴，通过混合现实眼镜将虚拟场景展示给用户；

所述控制手柄供用户手动操作，根据用户的操作产生对应的控制信号并传输给服务器，控制虚拟场景中的吊车进行相应操作。

本实用新型技术方案的特点和进一步的改进在于：

进一步的，所述吊索固定分离感应部件，包含设置于吊装物模型顶部的插孔、固定销和插入传感器，所述固定销与插孔相匹配，所述插入传感器设置于插孔内，用于感应固定销的插入或拔出状态，并将该状态传输给服务器。

进一步的，所述吊装物锁定感应部件，包含半实物平台上的锁紧机构和角度传感器，所述角度传感器设置于锁紧机构的旋转把手上，用于获取锁紧机构的锁紧或松开状态，并将该状态传输给服务器。

更进一步的，所述锁紧机构为顶紧螺丝和旋转把手，所述旋转把手与顶紧螺丝固定连接。

进一步的，还包括路由器，所述路由器组成无线局域网，将服务器和混合现实眼镜接入局域网，进行服务器与多台混合现实眼镜的数据传输。

进一步的，所述控制手柄与服务器、传感器与服务器之间通过无线或有线方式进行数据传输。

进一步的，所述半实物平台和两个吊装物模型的位置分别根据虚拟场景进行放置，使其位置和虚拟场景内的对应物体的位置重合。

与现有技术相比，本实用新型的有益效果为：

(1)真实度更高，有实物的相关操作。半实物平台模拟实物设计，具有更加真实的操作体验，加之采用和真实控制器类似的控制手柄设计，进一步增加操作的真实性。

(2)本实用新型能够大大降低训练的风险。在实际的吊装操作中，如果未将吊装物解锁，会导致超出吊机的额定功率，轻则损坏吊机，重则使整台吊机倾倒损毁。混合现实的操作环境不存在实际装备操作中的碰撞风险，没有实际操作对设备的损伤风险，更没有人员在吊装过程中的受伤风险，大大的降低了整个训练过程的风险。

(3)本实用新型装置布置方便，受场地限制小，可以单人完成也可以多人同时配合完成训练，可以为新手提供更多的训练时间，从而提高训练效果、增加新手吊装经验。

(4)本实用新型固化操作步骤，防止新手在吊装过程中出现“漏操作”事故。

附图说明

下面结合附图和具体实施例对本实用新型做进一步详细说明。

图1为本实用新型的系统组成连接图；

图2为本实用新型半实物平台及传感器组成示意图；

图3为本实用新型实施例的半实物平台的实物结构中的吊索固定分离感应部件组成示意图；

图4为本实用新型实施例的半实物平台的实物结构中的吊装物锁定感应部件组成示意图；

图5为本实用新型实施例的操作实现流程图；

以上图中，1半实物平台；2控制手柄；3服务器；4混合现实眼镜；5吊装物模型；6路由器；7插入传感器；8插孔；9固定销；10锁紧机构；11角度传感器。

具体实施方式

下面将结合实施例对本实用新型的实施方案进行详细描述，但是本领域的技术人员将会理解，下列实施例仅用于说明本实用新型，而不应视为限制本实用新型的范围。

参考图1，本实用新型提供一种基于混合现实虚实融合交互的半实物吊装系统，包括；半实物平台1、控制手柄2、服务器3和混合现实眼镜4；其中，所述半实物平台1上设置有两个吊装物模型5，分别对应起点吊装物和终点吊装物；每个吊装物模型5上分别设置有吊索固定分离感应部件和吊装物锁定感应部件；

所述吊索固定分离感应部件用于在对应吊装物模型5上进行手动吊索固定或分离操作，同时获取半实物平台1上吊索和吊装物模型5的固定或分离状态，并将该状态信息传输给服务器3；所述吊装物锁定感应部件用于在对应吊装物模型5上进行手动半实物平台1与吊装物模型5的锁定或解锁操作，获取吊装物模型5与半实物平台1的锁定或解锁状态，并将该状态信息传输给服务器3；

所述服务器3用于生成对应的虚拟场景，并将生成的虚拟场景传输给混合现实眼镜4；同时，根据接收的吊索的固定或分离状态、吊装物模型5与半实物平台1的锁定或解锁状态，进行吊装物模型5的定位，并实时更新虚拟场景中的吊车、吊装物和吊装平台的位置和状态，进而完成虚拟场景中的吊装操作；所述混合现实眼镜4供用户佩戴，通过混合现实眼镜4将虚拟场景展示给用户；所述控制手柄2供用户手动操作，根据用户的操作产生对应的控制信号并传输给服务器3，控制虚拟场景中的吊车进行相应操作。

参考图3，根据本实用新型的一个实施例，所述吊索固定分离感应部件，包含设置于吊装物模型5顶部的插孔8、固定销9和插入传感器7，所述固定销9与插孔8相匹配，所述插入传感器7设置于插孔8内，用于感应固定销9 的插入或拔出状态，并将该状态传输给服务器3。

参考图4，根据本实用新型的一个实施例，所述吊装物锁定感应部件，包含半实物平台1上的锁紧机构10和角度传感器11，所述角度传感器11设置于锁紧机构10的旋转把手上，用于获取锁紧机构10的锁紧或松开状态，并将该状态传输给服务器3；

参考图4，根据本实用新型的一个实施例，所述锁紧机构10为顶紧螺丝和旋转把手，所述旋转把手与顶紧螺丝固定连接。

参考图1，根据本实用新型的一个实施例，还包括路由器6，所述路由器 6组成无线局域网，将服务器3和混合现实眼镜4接入局域网，进行服务器3 与多台混合现实眼镜4的数据传输。

根据本实用新型的一个实施例，所述控制手柄2与服务器3、传感器与服务器3之间通过无线或有线方式进行数据传输。所述半实物平台1和两个吊装物模型5的位置分别根据虚拟场景进行放置，使其位置和虚拟场景内的对应物体的位置重合。

上述实施例中，半实物平台1相当于吊装过程中的车架等放置或固定吊装物的辅助物，其可以进行各种样式的改变。如图3所示，本实施例中，选取实际吊装作业中最典型的集装箱作为模拟对象，即在半实物平台1上设置实物集装箱按一定比例缩小的吊装物模型5；在集装箱模型的对应位置设置对应传感器以及锁紧机构10；假设集装箱要从A点吊至B点，则在半实物平台 1上与虚拟场景中的A点和B点像对应的位置分别设置一个吊装物模型5，参考图2和图5，其吊装具体操作过程如下：

(a)启动吊装训练装置。

(b)用户操作控制手柄2，控制完成吊机上吊钩的解锁；如果未完成解锁操作，控制手柄2的各种操作无效，并且提示操作错误。

(c)用户根据虚拟场景操作控制手柄2，使服务器3控制吊机运动，将吊钩移至A点上方，准备吊装物体。

(d)待吊钩达到指定位置后，用户在半实物平台1上将固定销9插入插孔8内，插孔8内的插入传感器7感应到固定销9的插入后，向服务器3传递吊索固定操作，则服务器3在虚拟场景中进行吊钩钩住吊装物操作；如果未完成吊索固定操作，控制手柄2的各种操作无效，并且提示操作错误。

(e)吊索固定操作完成后，在半实物平台1的A点进行吊装物解锁操作。即用户手动扭动A点的处旋转把手，使A点的吊装物模型5与半实物平台1 由锁紧状态变为松弛状态，使该吊装物模型5能够无阻力吊起；同时，旋转把手上的角度传感器11将A点的吊装物模型5的解锁信息传递给服务器3，服务器3控制虚拟场景进行相应解锁操作；如果未完成解锁操作，控制手柄2 的各种操作无效，并且提示操作错误。

(f)用户控制控制手柄2将虚拟场景中的吊装物吊至B点，待吊装物放置完成之后，在半实物平台1上对吊装物进行锁定操作。即用户手动扭动B 点处的旋转把手，使B点的吊装物模型5与半实物平台1锁紧，使该吊装物固定；同时，该旋转把手上的角度传感器11将B点的吊装物模型5的锁定信息传递给服务器3，服务器3控制虚拟场景进行相应锁定操作；如果未完成锁定操作，控制手柄2的各种操作无效，并且提示操作错误。

(g)B点吊装物锁定完成后，用户将半实物平台1上B点处吊装物模型5 上的固定销9拔出，对应的插入传感器7将信息传递给服务器3，服务器3控制虚拟场景进行吊钩与吊装物的分离操作；如果未完成固定销9拔出操作，控制手柄2的各种操作无效，并且提示操作错误。

(h)复位吊机，锁定吊钩，完成一次吊装。

以上操作过程中，如果出现错误操作，则将发出语音提示和文字提示。插入传感器7为红外传感器、压敏传感器、距离传感器等，只要能够感应固定销9的插入与拔出状态即可。本实用新型的锁紧机构10可以为任一能实现吊装物模型5的快速锁紧与松开的结构。

本实用新型的服务器运用Inventor软件构建高度仿真的吊车以及吊装物集装箱的三维模型，然后用3DS Max对模型进行优化和转换，以求达到完美的建模效果；运动部件建模完成后，将模型导入至Unity 3D渲染引擎中，利用Unity 3D中的shader着色器对模型表面纹理进行渲染。为保证虚拟渲染场景的仿真度，利用Unity 3D渲染引擎为模型部件提供重力、碰撞、柔性等逼真的物理仿真特性。通过分析模型各个部件之间的运动依赖关系设置模型部件之间的父子嵌套关系，最终完成整个三维虚拟装填模型运动场景树的构建。运用C#软件分别进行编程，使Unity 3D中的模型可以实现正常运动，使服务器可以接收控制手柄的数据信息、模型产生相对应的动作，使服务器可以接收传感器的信息，并产生相应的效果，实现基于传感器的虚实融合交互。

本实用新型在整个吊装过程中，选取吊索的连接与解除、吊装物的解锁与锁定等关键过程为半实物平台1设计的重点，假如是在实际过程中未完成相关操作，就会造成重大安全事故，因此在训练时有半实物平台1的约束，使得操作员每次操作到该过程时，都必须要进行相关操作，减少“漏操作”，防止发生事故。如果是单人训练，操作人员必须自己进行针对半实物平台1的操作；如果是合作操作，配合人员是要进行半实物平台1的相关操作，进一步加深重点步骤的印象，规范整个吊装流程。

虽然，本说明书中已经用一般性说明及具体实施方案对本实用新型作了详尽的描述，但在本实用新型基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本实用新型精神的基础上所做的这些修改或改进，均属于本实用新型要求保护的范围。

Claims (7)

1.基于混合现实虚实融合交互的半实物吊装系统，其特征在于，包括：半实物平台、控制手柄、服务器和混合现实眼镜；其中，所述半实物平台上设置有两个吊装物模型，分别对应起点吊装物和终点吊装物；每个吊装物模型上分别设置有吊索固定分离感应部件和吊装物锁定感应部件；

所述吊索固定分离感应部件用于在对应吊装物模型上进行手动吊索固定或分离操作，同时获取半实物平台上吊索和吊装物模型的固定或分离状态，并将该状态信息传输给服务器；

所述吊装物锁定感应部件用于在对应吊装物模型上进行手动半实物平台与吊装物模型的锁定或解锁操作，获取吊装物模型与半实物平台的锁定或解锁状态，并将该状态信息传输给服务器；

所述服务器用于生成对应的虚拟场景，并将生成的虚拟场景传输给混合现实眼镜；同时，根据接收的吊索的固定或分离状态、吊装物模型与半实物平台的锁定或解锁状态，进行吊装物模型的定位，并实时更新虚拟场景中的吊车、吊装物和吊装平台的位置和状态，进而完成虚拟场景中的吊装操作；

所述混合现实眼镜供用户佩戴，通过混合现实眼镜将虚拟场景展示给用户；

所述控制手柄供用户手动操作，根据用户的操作产生对应的控制信号并传输给服务器，控制虚拟场景中的吊车进行相应操作。

2.根据权利要求1所述的基于混合现实虚实融合交互的半实物吊装系统，其特征在于，所述吊索固定分离感应部件，包含设置于吊装物模型顶部的插孔、固定销和插入传感器，所述固定销与插孔相匹配，所述插入传感器设置于插孔内，用于感应固定销的插入或拔出状态，并将该状态传输给服务器。

3.根据权利要求1所述的基于混合现实虚实融合交互的半实物吊装系统，其特征在于，所述吊装物锁定感应部件，包含半实物平台上的锁紧机构和角度传感器，所述角度传感器设置于锁紧机构的旋转把手上，用于获取锁紧机构的锁紧或松开状态，并将该状态传输给服务器。

4.根据权利要求3所述的基于混合现实虚实融合交互的半实物吊装系统，其特征在于，所述锁紧机构为顶紧螺丝和旋转把手，所述旋转把手与顶紧螺丝固定连接。

5.根据权利要求1所述的基于混合现实虚实融合交互的半实物吊装系统，其特征在于，还包括路由器，所述路由器组成无线局域网，将服务器和混合现实眼镜接入局域网，进行服务器与多台混合现实眼镜的数据传输。

6.根据权利要求1所述的基于混合现实虚实融合交互的半实物吊装系统，其特征在于，所述控制手柄与服务器、传感器与服务器之间通过无线或有线方式进行数据传输。

7.根据权利要求1所述的基于混合现实虚实融合交互的半实物吊装系统，其特征在于，所述半实物平台和两个吊装物模型的位置分别根据虚拟场景进行放置，使其位置和虚拟场景内的对应物体的位置重合。

Images