CN110989842A - 基于虚拟现实的培训方法、系统和电子设备 - Google Patents

Abstract

本申请提供一种基于虚拟现实的培训方法、系统和电子设备，方法包括：包括：建立虚拟场景空间；将资源数据库中预存的虚拟模型，载入在虚拟场景空间中；接收交互对象产生的动作信息；依据动作信息，产生控制虚拟模型移动的交互指令信息；根据交互指令信息，更新虚拟模型在虚拟场景空间中的相互关系。以解决现有技术中实际培训成本高、效果差的问题。

Description

基于虚拟现实的培训方法、系统和电子设备

技术领域

本申请涉及虚拟现实技术领域，具体而言，涉及一种基于虚拟现实的培训方法、系统和电子设备。

背景技术

在目前互联网时代下，电力通信网技能提升面临着巨大的挑战，传统电力培训存在着缺少可用于培训的新型设备。由于采用物理实训设备在投资、维护上的成本高，不能支持大批量、并行的培训，再加上实际用于训练的设备数量少、型号不全，无法实现多数现场设备培训。此外，现有的设备组网规模小、结构简单、无法培训复杂网络所对应的内容，脱机网管缺少通信业务接入，受训人员的具体操作过程、结果与现场情况存在差异，所使用的模拟软件仅支持单一厂商设备模拟，并且缺少硬件运维仿真，以至于多数软硬件故障案例难以灵活复现合并安全演练的过程。

发明内容

本申请实施例的目的在于提供一种基于虚拟现实的培训方法、系统和电子设备，用以解决上述现有技术中存在的问题。

第一方面，实施例提供一种基于虚拟现实的培训方法，包括：建立虚拟场景空间；将资源数据库中预存的虚拟模型，载入在虚拟场景空间中；接收交互对象产生的动作信息；依据动作信息，产生控制虚拟模型移动的交互指令信息；根据交互指令信息，更新虚拟模型在虚拟场景空间中的相互关系。

在可选的实施方式中，接收交互对象产生的动作信息，包括：接收交互对象的肢体信息；根据肢体信息，追踪交互对象的肢体动作轨迹；根据肢体动作轨迹，生成动作信息。

在可选的实施方式中，根据肢体动作轨迹生成交互指令信息，包括：依据肢体动作轨迹，判断所选取的虚拟模型，并生成移动数据；根据移动数据映射至虚拟场景空间的坐标系中，生成具有移动轨迹的动作信息。

在可选的实施方式中，依据动作信息，产生控制虚拟模型移动的交互指令信息，包括：依据动作信息，调用预存在数据库中，与动作信对应的交互信息指令。

在可选的实施方式中，根据交互指令信息，更新虚拟模型在虚拟场景空间中的相互关系，包括：根据交互指令信息，生成虚拟模型的移动轨迹；根据移动轨迹，将虚拟模型沿移动轨迹移动至目标位置。

第二方面，实施例提供一种基于虚拟现实的培训系统，包括：建模单元，用于建立虚拟场景空间；载入单元，用于将资源数据库中预存的虚拟模型，载入在虚拟场景空间中；动作识别单元，用于接收交互对象产生的动作信息；指令产生单元，用于依据动作信息，产生控制虚拟模型移动的交互指令信息；数据更新单元，用于根据交互指令信息，更新虚拟模型在虚拟场景空间中的相互关系。

在可选的实施方式中，动作识别单元包括：信息捕捉模块，用于接收交互对象的肢体信息；轨迹追踪模块，用于根据肢体信息，追踪交互对象的肢体动作轨迹；信息生成模块，用于根据肢体动作轨迹，生成动作信息。

在可选的实施方式中，信息生成模块包括：判断模块，用于依据肢体动作轨迹，判断所选取的虚拟模型，并生成移动数据；数据生成模块，用于根据移动数据映射至虚拟场景空间的坐标系中，生成具有移动轨迹的动作信息。

在可选的实施方式中，指令产生单元包括：数据调用模块，用于依据动作信息，调用预存在数据库中，与动作信对应的交互信息指令。

在可选的实施方式中，数据更新单元包括：指令获取模块，用于根据交互指令信息，生成虚拟模型的移动轨迹；实施模块，用于根据移动轨迹，将虚拟模型沿移动轨迹移动至目标位置。

第三方面，实施例提供一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行上述实施例中基于虚拟现实的培训方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本申请实施例提供的一种电子设备；

图2是本申请实施例提供的一种终端与服务器的交互示意图；

图3是本申请实施例提供的一种基于虚拟现实的培训方法的流程示意图；

图4是图3所示方法中步骤304的具体流程图；

图5是图3所示方法中步骤305的具体流程图；

图6是本申请实施例提供的一种基于虚拟现实的培训系统的结构示意图。

图标：电子设备1，存储器2，处理器3，总线4，系统10，服务器100，终端200，建模单元300，载入单元400，动作识别单元500，指令产生单元600，数据更新单元700。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

如图1所示，本实施例提供一种电子设备1，包括：至少一个处理器3和存储器2，图1中以一个处理器3为例。处理器3和存储器2通过总线4连接，存储器2存储有可以被处理器3执行的指令，指令被处理器3执行。

于一实施例中，电子设备1可以是服务器100，服务器100接收终端200发送的交互请求，并根据交互请求执行相应的操作并予以呈现，然后将操作结果反馈给终端200，以实现教学培训的过程。

如图2所示，其为本申请实施例中终端200与服务器100的交互示意场景，系统10包括服务器100和终端200，终端200可以是虚拟现实设备，服务器100可以是数据存储处理服务器100。服务器100存储有可用于终端200使用的数据资源、课件资源、安装包资源等数据信息。服务器100根据数据资源、课件资源以及安装包资源等数据信息，生成虚拟场景空间以及在载入虚拟模型后，等待来自终端200的指令，该指令由交互对象使用终端200时发出，指令可以由虚拟现实设备采集，服务器100接收指令后，在本地更新虚拟模型的位置。

请参看图3，其为本申请实施例提供一种基于虚拟现实的培训方法，该方法可由图1所示的电子设备1作为服务器100来执行，并用于图2所示的交互场景中，该方法包括如下步骤：

步骤301：建立虚拟场景空间。

在本步骤中，服务器100建立一个虚拟场景空间供终端200使用，终端200可以是AR(Augmented Reality，增强现实)设备、VR(Virtual Reality，虚拟现实)设备、MR(MediatedReality，介导现实)设备。

于一实施例中，终端200可以是移动设备，在移动设备上安装有客户端应用程序，客户端应用程序可以具有客户端协同功能。客户端协同功能用于A客户端向服务器100发送创建空间请求，当收到服务器100“允许”指令后，建立一个虚拟空间，服务器100向外广播该虚拟空间被创建消息给其他在线客户端，当B客户端想加入时，向服务器100发送申请，服务器100转发B客户端的申请消息给A客户端，当A客户端同意后服务器100将B客户端加入到A创建的虚拟空间中，A和B进行同一虚拟场景空间中协同工作。

于一实施例中，客户端应用程序还可以具有直播教学功能。直播教学功能是用户使用客户端、移动端、便携式AR设备等终端200对教学过程进行观看，在进行视频教学功能时，首先终端200向服务器100发送建立空间申请，服务器100“允许”建立空间后，建立直播空间并向其他客户端设备推送空间被建立的消息，然后用户可以通过客户端、移动端、便携式AR设备的直播列表中查看开设的直播空间，点击选择直播空间后，进入直播间进行学习。

步骤302：将资源数据库中预存的虚拟模型，载入在虚拟场景空间中。

在本步骤中，资源数据库中的资源数据可以预先储存在服务器100中，可以通过外部存储介质存储，通过网络连接由服务器100调用。服务器100存储的数据是由三维建模软件设计的具有三维数据的虚拟模型，在本实施例中，虚拟模型由Unity3D软件设计。

虚拟场景空间在生成时即具有三维坐标系，虚拟场景空间中的所有点可映射的体现在该三维坐标系中。虚拟模型可以看做多个三维点的集合，从中任意选取一个点作为虚拟模型的特征点，将该特征点与虚拟场景空间中的一个点匹配，则虚拟模型会自适应的被放置在虚拟场景空间中。

步骤303：接收交互对象产生的动作信息。

在本步骤中，根据预先设置的肢体动作与交互指令信息的对应关系，在数据库中进行查找肢体动作对应的交互指令信息。

于一实施例中，作为交互对象的用户可以穿戴动作识别设备，该动作识别设备可以帮助虚拟现实设备捕捉交互对象的肢体信息，例如单手手持的遥控器、手柄、贴在手臂上的感应磁片等。

步骤304：依据动作信息，产生控制虚拟模型移动的交互指令信息。

服务器100借助动作识别设备实时获取交互对象的动作，并根据动作生成的数据信息在数据库中查找对应的交互指令信息，以此完成肢体动作与交互指令信息转换的过程。

于一实施例中，在识别交互对象的动作时，需判断交互对象是否选中虚拟模型。交互对象的动作一直在变动时，为了不让虚拟模型在未选中的时候也随着交互对象的工作一直移动，所以当交互对象选中虚拟模型时，才开始进行虚拟模型的移动。

当判断虚拟模型被选中时，获取肢体动作轨迹在选中后的移动数据。肢体动作轨迹是交互对象实际作出的动作，该动作是交互对象操纵虚拟模型做出的动作。例如，现实中人拿起杯子，杯子自然是在被人拿住时，才会被拿起，所以在虚拟场景空间中，虚拟模型被选中时，会随着交互对象的肢体动作发生移动，其移动的轨迹与交互对象肢体动作轨迹一致。

当交互对象选中虚拟模型后，终端200将移动数据上传至服务器100，服务器100根据移动数据，将移动数据映射至虚拟场景空间的坐标系中，生成带有移动轨迹的交互指令信息。交互指令信息即为作用在虚拟模型上的，使虚拟模型产生移动的指令。

步骤305：根据交互指令信息，更新虚拟模型在虚拟场景空间中的相互关系。

在本步骤中，服务器100在接收到交互指令信息后，控制虚拟模型按照交互指令信息中包含的移动数据进行移动，并在服务器100本地更新虚拟模型的位置。

于一实施例中，在虚拟模型被移动后，服务器100通过存储的预设条件，来判断虚拟模型的移动是否合法，或者虚拟模型移动后所处的位置是否合法。

于一实施例中，在教学示范过程中，交互对象操作虚拟模型从A点移动至B点，在储存的预设条件中，虚拟模型应当在A点处于不动的状态，当虚拟模型被移动至B点，则判断这个移动是不合法的，针对不合法结果，服务器100向终端200发送不合法移动的告警。

于一实施例中，在教学示范过程中，交互对象操作虚拟模型从A点移动至B点，其移动轨迹不过C点。在储存的预设条件中，在本次移动过程中，虚拟模型应当从A点沿过C点的曲线移动至B点，则判断本次移动是不合法的，针对不合法结果，服务器100向终端200发送不合法移动的告警。

于一实施例中，上述服务器100和终端200用于电力系统中的教学示范，虚拟模型可以是线路搭接模型、变压器模型等电力系统中需要运维和故障修理的仪器模型。在实际中处理上述仪器时，会因为操作失误产生着火、短路、电弧、爆炸、跳闸等结果，在一次教学示范过程中，当交互对象对虚拟模型做出错误操作时，也会模拟出现实中的错误结果。

请参看图4，步骤303还包括：

步骤401：接收交互对象的肢体信息。

在本步骤中，可以藉由动作识别设备采集交互对象的肢体信息。

步骤402：根据肢体信息，追踪交互对象的肢体动作轨迹。

在本步骤中，可以将肢体信息在空间中的连续移动记录下来，交互对象的肢体动作轨迹转换成样条拟合曲线，该样条拟合曲线即为生成的肢体动作轨迹。

步骤403：根据肢体动作轨迹，生成动作信息。

在本步骤中，再将样条拟合曲线映射至虚拟场景空间，即可获取交互对象的肢体动作对应在虚拟场景空间中的数据信息，这些数据信息包括了交互对象移动虚拟模型的移动数据。

于一实施例中，服务器100依据从终端200处获取的肢体动作轨迹，判断交互对象在终端200处所选取的虚拟模型，并生成相应的移动数据，然后根据移动数据映射至虚拟场景空间的坐标系中，最后生成具有移动轨迹的动作信息。

请参看图5，步骤305还包括：

步骤501：根据交互指令信息，生成虚拟模型的移动轨迹。

在本步骤中，交互指令信息是由交互对象的动作信息产生的，包含了虚拟模型将要被移动的移动轨迹。

步骤502：根据移动轨迹，将虚拟模型沿移动轨迹移动至目标位置。

在本步骤中，将虚拟模型按照获取的移动轨迹进行移动，并在服务器100本地更新虚拟模型的位置。

请参看图6，本申请实施例中还提供一种基于虚拟现实的培训系统10，该系统10可应用于图1所示的电子设备1，并可以应用于图2所示的交互场景中，该系统10包括：建模单元300、载入单元400、动作识别单元500、指令产生单元600、数据更新单元700，各个单元的原理关系如下：

建模单元300，用于建立虚拟场景空间；载入单元400，用于将资源数据库中预存的虚拟模型，载入在虚拟场景空间中；动作识别单元500，用于接收交互对象产生的动作信息；指令产生单元600，用于依据动作信息，产生控制虚拟模型移动的交互指令信息；数据更新单元700，用于根据交互指令信息，更新虚拟模型在虚拟场景空间中的相互关系。

于一实施例中，动作识别单元500包括：信息捕捉模块，用于接收交互对象的肢体信息；轨迹追踪模块，用于根据肢体信息，追踪交互对象的肢体动作轨迹；信息生成模块，用于根据肢体动作轨迹，生成动作信息。

于一实施例中，信息生成模块包括：判断模块，用于依据肢体动作轨迹，判断所选取的虚拟模型，并生成移动数据；数据生成模块，用于根据移动数据映射至虚拟场景空间的坐标系中，生成具有移动轨迹的交互指令信息。

于一实施例中，指令产生单元600包括：数据调用模块，用于依据动作信息，调用预存在数据库中，与动作信对应的交互信息指令。

于一实施例中，数据更新单元700包括：实施模块，用于根据交互指令信息，移动虚拟模型沿移动轨迹移动至目标位置。

上述培训系统的详细描述，请参见上述实施例中，相关方法步骤的描述。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于虚拟现实的培训方法，其特征在于，包括：

建立虚拟场景空间；

将资源数据库中预存的虚拟模型，载入在所述虚拟场景空间中；

接收交互对象产生的动作信息；

依据所述动作信息，产生控制所述虚拟模型移动的交互指令信息；

根据所述交互指令信息，更新所述虚拟模型在所述虚拟场景空间中的相互关系。

2.根据权利要求1所述的方法，其特征在于，所述接收交互对象产生的动作信息，包括：

接收所述交互对象的肢体信息；

根据所述肢体信息，追踪所述交互对象的肢体动作轨迹；

根据所述肢体动作轨迹，生成所述动作信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述肢体动作轨迹，生成动作信息，包括：

依据所述肢体动作轨迹，判断所选取的虚拟模型，并生成移动数据；

根据所述移动数据映射至所述虚拟场景空间的坐标系中，生成具有移动轨迹的所述动作信息。

4.根据权利要求3所述的方法，其特征在于，所述依据所述动作信息，产生控制所述虚拟模型移动的交互指令信息，包括：

依据所述动作信息，调用预存在数据库中，与所述动作信对应的交互信息指令。

5.根据权利要求4所述的方法，其特征在于，所述根据所述交互指令信息，更新所述虚拟模型在所述虚拟场景空间中的相互关系，包括：

根据所述交互指令信息，生成所述虚拟模型的移动轨迹；

根据所述移动轨迹，将所述虚拟模型沿移动轨迹移动至目标位置。

6.一种基于虚拟现实的培训系统，其特征在于，包括：

建模单元，用于建立虚拟场景空间；

载入单元，用于将资源数据库中预存的虚拟模型，载入在所述虚拟场景空间中；

动作识别单元，用于接收交互对象产生的动作信息；

指令产生单元，用于依据所述动作信息，产生控制所述虚拟模型移动的交互指令信息；

数据更新单元，用于根据所述交互指令信息，更新所述虚拟模型在所述虚拟场景空间中的相互关系。

7.根据权利要求6所述的系统，其特征在于，所述动作识别单元包括：

信息捕捉模块，用于接收所述交互对象的肢体信息；

轨迹追踪模块，用于根据所述肢体信息，追踪所述交互对象的肢体动作轨迹；

信息生成模块，用于根据所述肢体动作轨迹，生成所述动作信息。

8.根据权利要求7所述的系统，其特征在于，所述信息生成模块包括：

判断模块，用于依据所述肢体动作轨迹，判断所选取的虚拟模型，并生成移动数据；

数据生成模块，用于根据所述移动数据映射至所述虚拟场景空间的坐标系中，生成具有移动轨迹的所述交互指令信息。

9.根据权利要求8所述的系统，其特征在于，所述数据更新单元包括：

指令获取模块，用于根据所述交互指令信息，生成所述虚拟模型的移动轨迹；

实施模块，用于根据所述移动轨迹，将所述虚拟模型沿移动轨迹移动至目标位置。

10.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行如权利要求1-5中任一项所述的方法。

Images