CN115904077A - 用于电力交互课件的数据手套接口实现方法、装置及设备 - Google Patents

Abstract

本发明公开一种用于电力交互课件的数据手套接口实现方法、装置及设备，方法包括：在MakeReal3D虚拟现实编辑器中获得VR数据手套的手部捕捉自由度数据，并基于该手部捕捉自由度数据的解析进行虚拟手模型建模；基于虚拟手模型开发虚拟手实时驱动接口，用于为用户设定和操作提供驱动接口；开发虚拟手事件指令交互接口，用于实现交互事件与响应；基于课件接口与所述事件指令交互接口，实现课件与VR数据手套的交互。

Description

用于电力交互课件的数据手套接口实现方法、装置及设备

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种用于电力交互课件的数据手套接口实现方法、装置及设备。

背景技术

现有的安全生产培训教育，通常是以说教式为主，通过播放视频，宣讲PPT等安全生产培训内容，不仅枯燥乏味，而且教育效果不好；现有的安全生产培训方式体验性较差，VR虚拟仿真教育交互性不强，基本都是弱交互或者无交互，教育完成后，对学员的教育没法深入人心，起到良好的警示作用。

传统虚拟仿真技术甚至基于VR设备的产品，往往体感是单一的，比如视觉和听觉和触觉，应用于职业安全生产培训教育的虚拟仿真体感项目仅仅只能提供虚拟仿真场景的模拟，无法提供真实生产环境中带来的伤害的触觉体验；传统虚拟仿真VR体验项目往往需要借助VR操作手柄进行交互，对于职业安全教育行业来说体验感是极为不友好的，是繁琐的，不够真实的；传统的安全体感教育设备更是单纯的体感，无实质性的案例和内容，无法通过和实际生产过程中的伤害案例结合起来进行剧情式，交互式体验。

针对以上情况，我们需要一种基于虚拟现实与体感设备交互的安全体感生产培训系统，可以通过VR设备将虚拟场景与外部设备间相互通讯，且可以通过手部的弯曲及运动，判断响应的动作，并完成相关的体验动作。

发明内容

为克服上述现有技术的不足，本发明提供一种用于电力交互课件的数据手套接口实现方法、装置及设备，用以解决上述至少一个技术问题。

根据本发明说明书的一方面，提供一种用于电力交互课件数据手套接口实现方法，包括：

在MakeReal3D虚拟现实编辑器中获得VR数据手套的手部捕捉自由度数据，并基于该手部捕捉自由度数据的解析进行虚拟手模型建模；

基于虚拟手模型开发虚拟手实时驱动接口，用于为用户设定和操作提供驱动接口；

开发虚拟手事件指令交互接口，用于实现交互事件与响应；

基于课件接口与所述事件指令交互接口，实现课件与VR数据手套的交互。

作为进一步的技术方案，所述方法还包括：通过VR驱动接口的API进行通信接口开发，以将VR数据手套的手部捕捉自由度数据和数据手套采集数据实时传输给MakeReal3D虚拟现实编辑器。

作为进一步的技术方案，所述方法还包括：所述MakeReal3D虚拟现实编辑器对获得的数据进行解析，将解析后的数据转换为MakeReal3D虚拟现实编辑器中的实时驱动数据。

作为进一步的技术方案，所述方法还包括：依据MakeReal3D虚拟现实编辑器驱动手部模型的骨架结构，进行手部模型的骨架绑定，同时将骨架中的每个骨架的控制器的蒙皮权重按照原始数据结构进行设定，实现虚拟手模型的建模。

作为进一步的技术方案，所述方法还包括：在开发虚拟手实时驱动接口时，由虚拟手实时驱动入口进入，设定连接通信，校准设定数据手套的即时硬件数据与虚拟手的初始状态，并设定数据后，释放连接通信。

作为进一步的技术方案，所述方法还包括：在以实时驱动动作的虚拟手模型与课件场景中，基于数据手套实时驱动虚拟手在场景中进行事件、响应操作。

作为进一步的技术方案，所述方法还包括：实时驱动虚拟手在场景中进行事件、响应操作时，依据抓握手势判断、抓握手部干涉、抓握对象判断、抓握对象干涉、抓握手势与抓握对象关联判断的流程进行。

根据本发明说明书的一方面，提供一种用于交互课件数据手套接口实现装置，用于实现所述的方法，所述装置包括：

虚拟手模型建模模块，用于在MakeReal3D虚拟现实编辑器中获得VR数据手套的手部捕捉自由度数据，并基于该手部捕捉自由度数据的解析进行虚拟手模型建模；

虚拟手实时驱动接口模块，用于基于虚拟手模型开发虚拟手实时驱动接口，为用户设定和操作提供驱动接口；

虚拟手事件指令交互接口模块，用于开发虚拟手事件指令交互接口，实现交互事件与响应；

课件与数据手套交互模块，用于基于课件接口与所述事件指令交互接口，实现课件与VR数据手套的交互。

根据本发明说明书的一方面，提供一种电子设备，所述电子设备包括处理器、存储器，以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现所述的用于电力交互课件数据手套接口实现方法的步骤。

根据本发明说明书的一方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现所述的用于电力交互课件数据手套接口实现方法的步骤。

与现有技术相比，本发明的有益效果在于：本发明基于现有虚拟现实编辑器MakeReal3D，结合课件数据，基于VR数据手套进行开发，提出一种用于交互式课件的数据手套接口，该接口能够支持手部主要动作指令的事件捕捉、反馈响应，能模拟内容可见中手部交互的需求，例如抓握、松手、五指动作指令等，进而能够满足安全生产培训的需求。

附图说明

图1为根据本发明实施例的用于电力交互课件数据手套接口实现方法的流程图。

图2为根据本发明实施例的通信接口开发流程图。

图3为根据本发明实施例的虚拟手实时驱动接口开发示意图。

图4为根据本发明实施例的抓握交互实现流程图。

具体实施方式

以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述发实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。

本发明一方面提供一种用于电力交互课件数据手套接口实现方法，如图1所示，所述方法包括：

在MakeReal3D虚拟现实编辑器中获得VR数据手套的手部捕捉自由度数据，并基于该手部捕捉自由度数据的解析进行虚拟手模型建模；

基于虚拟手模型开发虚拟手实时驱动接口，用于为用户设定和操作提供驱动接口；

开发虚拟手事件指令交互接口，用于实现交互事件与响应；

基于课件接口与所述事件指令交互接口，实现课件与VR数据手套的交互。

本发明中所用的数据手套为Noitom Hi5 VR数据手套。

具体来说，Noitom Hi5 VR硬件可提供手部手指的动作捕捉数据，通过Noitom Hi5VR驱动接口的API进行通信接口开发，使得在MakeReal3D虚拟现实编辑器中获得NoitomHi5VR数据手套的手部捕捉自由度数据，并基于该手部捕捉自由度数据的解析建模基于Noitom Hi5 VR数据结构匹配的虚拟手模型，然后通过接口开发实现实时驱动虚拟手动作，然后根据常规的交互事件与响应方法开发交互响应接口，并实现数据手套交互接口，最后通过该交互接口可快捷提供数据手套动作驱动虚拟手、事件触发响应实现课件与NoitomHi5 VR交互。

可选地，所述方法还包括：通过VR驱动接口的API进行通信接口开发，以将VR数据手套的手部捕捉自由度数据和数据手套采集数据实时传输给MakeReal3D虚拟现实编辑器。

通信接口是基于Noitom Hi5 VR数据手套硬件驱动的基础上，将Noitom Hi5 VR数据手套采集和处理的手部自由度数据实时传输给MakeReal3D虚拟现实编辑器，MakeReal3D虚拟现实编辑需进行自由度数据、识别标识与结构、采集响应时间帧解析为可用的6自由度格式化实时数据。如图2所示，Noitom Hi5 VR数据手套的硬件数据通过驱动的API接口开发在MakeReal3D中建立通信接口即实时通信，通过实时通信的开关、数据接收、实时存储获得Noitom Hi5 VR数据手套的原始数据，然后通过获得的原始数据进行解析开发，将解析开发的数据进行转换开发为MakeReal3D虚拟现实编辑器实时驱动数据。

可选地，所述方法还包括：依据MakeReal3D虚拟现实编辑器驱动手部模型的骨架结构，进行手部模型的骨架绑定，同时将骨架中的每个骨架的控制器的蒙皮权重按照原始数据结构进行设定，实现虚拟手模型的建模。

虚拟手模型的开发主要根据Noitom Hi5 VR通信采集的数据解析格式化后识别为驱动实时数据结构进行开发，数据手套的实时图形驱动需结合原始数据与MakeReal3D编辑器的实时驱动图形接口进行开发。

依据MakeReal3D虚拟现实编辑器驱动手部模型的骨架结构，进行手部模型的骨架绑定，同时将骨架中的每个骨架的控制器的蒙皮权重按照原始数据结构进行设定实现虚拟手模型的开发。

仅以示例说明，虚拟手模型开发流程可包括：建立手指以及手指坐标系；设定骨骼与蒙皮的大小匹配；匹配所有关节骨骼与蒙皮；根骨的距离匹配；依据驱动结构进行权重设定；设定校准初始状态；设定蒙皮纹理完成虚拟手部的模型。

可选地，所述方法还包括：在开发虚拟手实时驱动接口时，由虚拟手实时驱动入口进入，设定连接通信，校准设定数据手套的即时硬件数据与虚拟手的初始状态，并设定数据后，释放连接通信。

虚拟手实时驱动接口主要为用户设定和操作提供驱动接口，驱动接口一般包括数据连接、数据校准、数据设定、数据关闭等设定的开发。如图3所示，虚拟手实时驱动接口由虚拟手实时驱动入口进入，设定连接(通信端口)，校准设定(校准核定为校准姿态，按照固定的校准姿态将Noitom Hi5 VR数据手套的即时硬件数据与虚拟手的初始状态进行自动关联设定)、数据设定(连接类型、虚拟手左右模型选择等)、关闭设定(释放连接通信)。

可选地，交互接口即通过虚拟手在场景中进行事件、响应操作，例如实现抓握、松手、五指动作指令等。交互接口是实现对课件交互的关键，实现的基础为已实时驱动动作的虚拟手模型与课件场景。

Noitom Hi5 VR数据手套抓握交互即拾取对象的过程，如果需要快捷的实现抓握交互，可以将抓握的交互进行拆解为抓握对象(抓握的虚拟手、被抓握的对象)、抓握事件响应(抓握的提示、抓握的绑定关联)。如图4所示，抓握交互接口功能的实现基于NoitomHi5VR数据手套实时驱动手部模型后需实现抓握手势判断、抓握手部干涉、抓握对象判断、抓握对象干涉、抓握手势与抓握对象关联绑定等功能。

具体来说，抓握手势判断：在虚拟场景中，抓握手势的判断是抓握交互的基础，通用的抓握交互算法以判断手指节点端点到手心的距离判断抓握手势，例如当手部伸直的时候，手指指尖距离手掌掌心较远，当手部为抓握状态时，手指指尖和其它手指关节与手掌掌心距离较近即，另外根据手指关节的弯曲角度、各个手指指尖的动作判断抓握手势实现抓握手势的实时判断。

抓握对象的判断：抓握的对象是被虚拟手模型抓握的对象，MakeReal3D中的对象具有各类的拾取属性，而抓握对象属于不同于手柄的拾取，手柄拾取是单一的射线包围盒输入条件，抓握对象的判断则相对复杂，其输入接触是由手部的多点接触干涉和手势输入，这里需要以抓握手势与抓握干涉的接口进一步实现判断。这里需以实现设定的方式进行实现、需设定对象是否可被对应的手部模型抓取进行设定。

抓握对象干涉：抓握对象的干涉可以提供视觉判断，即抓握对象的指向性。判断抓握对象的唯一性、抓握拾取性等需要通过干涉提示进行提示。具体实现方式，需要对抓握对象的干涉进行输入设定，当抓握对象的干涉与抓握手部的干涉发生干涉时可视觉现实干涉提示代表可被抓取实现抓握对象的干涉。

抓握手势与抓握对象的关联判断：抓握手势与抓握对象的关联判断，实现以上抓握过程以后，则是拾取抓握对象的关联绑定，即关联绑定，则是通过约束的方式将对象约束到手部模型进行跟随实现。

松手交互：松手交互过程则是抓握交互的逆向过程，其方法与抓握的实现方法一致。

五指动作指令交互：按照MakeReal3D中的接口与手部操作的VR实现方法，五指动作指令的交互主要以手部的手指的指尖干涉交互触发响应事件作为基础进行交互输入。

可选地，实现以上的Noitom Hi5 VR数据手套在MakeReal3D中的交互开发后，继续Noitom Hi5 VR数据手套对课件交互的接口的实现。

首先，设定Noitom Hi5 VR数据手套驱动。按照标准手部状态校准初始手部状态。

接着，驱动单独的手部手指。驱动单独的手部手指是实现接口的第一步，即在MakeReal3D虚拟现实编辑器中使用Noitom Hi5 VR数据手套获得数据并驱动虚拟手模型。

仅以示例说明其实现方法如下：

在资源管理器下的ControlSkeleton内容\Glove下找到Glove Character拖入到场景中；

选中双手模型，在属性管理器中找到手套的Animation属性，然后依次对LeftHand和RightHand的Anim Class属性参数进行查找并找到资源管理器中LeftHand和RightHand后打开；

在打开的左手和右手的动画可视化脚本界面中分别设置动作捕捉的连接：选择Glove Type为Hi5，去掉Read From Config的打勾选项，勾选Really Connect，并点击编译和保存；(设定手套驱动的连接和类型)；

设置手套默认播放器：选中场景中的手，在属性窗口中输入Player查找到Pawn下的Auto Possess Player将参数选为Player0即可完成Hi5驱动手指的驱动设置。

然后是数据手套的交互接口设定。

数据手套的交互接口设定为交互提供交互实现方法。这里以交互抓取松手为例，说明实现方法如下：

创建被抓取物体的可视化脚本：选中被抓取的对象，点击属性面板的可视化脚本/添加可视化脚本，在弹出的面板点击创建可视化脚本；

设置被抓取物体的属性：在创建可视化脚本后弹出的面板中选中StaticMeshComponent，在属性中分别设置Simulate Physics(勾选)、Enable Gravity(设定抓握的干涉实现)；

为被抓取物体添加抓取事件：在面板上切换到事件图表下，添加组件Grabable，在事件图表下对StaticMeshComponent添加Set Up事件图表，并点击编译和保存完成数据手套抓取物体的设置(设定抓握对象的交互属性)。

最后是交互课件的实现。依据MakeReal3D虚拟现实编辑器的运行方式，设定继承虚拟手部的项目设置和全局设置，然后运行课件并通三维菜单实现交互。

本发明还提供一种用于交互课件数据手套接口实现装置，用于实现所述的方法，所述装置包括：

虚拟手模型建模模块，用于在MakeReal3D虚拟现实编辑器中获得VR数据手套的手部捕捉自由度数据，并基于该手部捕捉自由度数据的解析进行虚拟手模型建模；

虚拟手实时驱动接口模块，用于基于虚拟手模型开发虚拟手实时驱动接口，为用户设定和操作提供驱动接口；

虚拟手事件指令交互接口模块，用于开发虚拟手事件指令交互接口，实现交互事件与响应；

课件与数据手套交互模块，用于基于课件接口与所述事件指令交互接口，实现课件与VR数据手套的交互。

所述装置还用于，通过VR驱动接口的API进行通信接口开发，以将VR数据手套的手部捕捉自由度数据和数据手套采集数据实时传输给MakeReal3D虚拟现实编辑器。

所述装置还用于，利用所述MakeReal3D虚拟现实编辑器对获得的数据进行解析，将解析后的数据转换为MakeReal3D虚拟现实编辑器中的实时驱动数据。

所述虚拟手模型建模模块，还用于依据MakeReal3D虚拟现实编辑器驱动手部模型的骨架结构，进行手部模型的骨架绑定，同时将骨架中的每个骨架的控制器的蒙皮权重按照原始数据结构进行设定，实现虚拟手模型的建模。

所述虚拟手实时驱动接口模块，还用于在开发虚拟手实时驱动接口时，由虚拟手实时驱动入口进入，设定连接通信，校准设定数据手套的即时硬件数据与虚拟手的初始状态，并设定数据后，释放连接通信。

所述虚拟手事件指令交互接口模块，还用于在以实时驱动动作的虚拟手模型与课件场景中，基于数据手套实时驱动虚拟手在场景中进行事件、响应操作。

所述课件与数据手套交互模块，还用于实时驱动虚拟手在场景中进行事件、响应操作时，依据抓握手势判断、抓握手部干涉、抓握对象判断、抓握对象干涉、抓握手势与抓握对象关联判断的流程进行。

本发明一方面还提供一种电子设备，该电子设备可以为工控机、服务器或计算机终端。

所述电子设备包括处理器、存储器，以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现所述的用于电力交互课件数据手套接口实现方法的步骤。

该电子设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。

非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种用于电力交互课件数据手套接口实现方法。

处理器用于提供计算和控制能力，支撑整个电子设备的运行。内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种用于电力交互课件数据手套接口实现方法。

该网络接口用于进行网络通信，如发送分配的任务等。

应当理解的是，处理器可以是中央处理单元(CentralProcessingUnit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：

在MakeReal3D虚拟现实编辑器中获得VR数据手套的手部捕捉自由度数据，并基于该手部捕捉自由度数据的解析进行虚拟手模型建模；

基于虚拟手模型开发虚拟手实时驱动接口，用于为用户设定和操作提供驱动接口；

开发虚拟手事件指令交互接口，用于实现交互事件与响应；

基于课件接口与所述事件指令交互接口，实现课件与VR数据手套的交互。

本发明一方面还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现所述的用于电力交互课件数据手套接口实现方法的步骤。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案。

Claims (10)

1.用于电力交互课件数据手套接口实现方法，其特征在于，包括：

在MakeReal3D虚拟现实编辑器中获得VR数据手套的手部捕捉自由度数据，并基于该手部捕捉自由度数据的解析进行虚拟手模型建模；

基于虚拟手模型开发虚拟手实时驱动接口，用于为用户设定和操作提供驱动接口；

开发虚拟手事件指令交互接口，用于实现交互事件与响应；

基于课件接口与所述事件指令交互接口，实现课件与VR数据手套的交互。

2.根据权利要求1所述用于电力交互课件数据手套接口实现方法，其特征在于，所述方法还包括：通过VR驱动接口的API进行通信接口开发，以将VR数据手套的手部捕捉自由度数据和数据手套采集数据实时传输给MakeReal3D虚拟现实编辑器。

3.根据权利要求2所述用于电力交互课件数据手套接口实现方法，其特征在于，所述方法还包括：所述MakeReal3D虚拟现实编辑器对获得的数据进行解析，将解析后的数据转换为MakeReal3D虚拟现实编辑器中的实时驱动数据。

4.根据权利要求1所述用于电力交互课件数据手套接口实现方法，其特征在于，所述方法还包括：依据MakeReal3D虚拟现实编辑器驱动手部模型的骨架结构，进行手部模型的骨架绑定，同时将骨架中的每个骨架的控制器的蒙皮权重按照原始数据结构进行设定，实现虚拟手模型的建模。

5.根据权利要求1所述用于电力交互课件数据手套接口实现方法，其特征在于，所述方法还包括：在开发虚拟手实时驱动接口时，由虚拟手实时驱动入口进入，设定连接通信，校准设定数据手套的即时硬件数据与虚拟手的初始状态，并设定数据后，释放连接通信。

6.根据权利要求1所述用于电力交互课件数据手套接口实现方法，其特征在于，所述方法还包括：在以实时驱动动作的虚拟手模型与课件场景中，基于数据手套实时驱动虚拟手在场景中进行事件、响应操作。

7.根据权利要求6所述用于电力交互课件数据手套接口实现方法，其特征在于，所述方法还包括：实时驱动虚拟手在场景中进行事件、响应操作时，依据抓握手势判断、抓握手部干涉、抓握对象判断、抓握对象干涉、抓握手势与抓握对象关联判断的流程进行。

8.用于交互课件数据手套接口实现装置，用于实现权利要求1-7任一项所述的方法，其特征在于，所述装置包括：

虚拟手模型建模模块，用于在MakeReal3D虚拟现实编辑器中获得VR数据手套的手部捕捉自由度数据，并基于该手部捕捉自由度数据的解析进行虚拟手模型建模；

虚拟手实时驱动接口模块，用于基于虚拟手模型开发虚拟手实时驱动接口，为用户设定和操作提供驱动接口；

虚拟手事件指令交互接口模块，用于开发虚拟手事件指令交互接口，实现交互事件与响应；

课件与数据手套交互模块，用于基于课件接口与所述事件指令交互接口，实现课件与VR数据手套的交互。

9.一种电子设备，其特征在于，所述电子设备包括处理器、存储器，以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如权利要求1至7中任一项所述的用于电力交互课件数据手套接口实现方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的用于电力交互课件数据手套接口实现方法的步骤。

Images