CN109658516B - Vr培训场景的创建方法、vr培训系统以及计算机可读存储介质 - Google Patents

Vr培训场景的创建方法、vr培训系统以及计算机可读存储介质 Download PDF

Info

Publication number
CN109658516B
CN109658516B CN201811511707.3A CN201811511707A CN109658516B CN 109658516 B CN109658516 B CN 109658516B CN 201811511707 A CN201811511707 A CN 201811511707A CN 109658516 B CN109658516 B CN 109658516B
Authority
CN
China
Prior art keywords
training
scene
module
current
dimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811511707.3A
Other languages
English (en)
Other versions
CN109658516A (zh
Inventor
纪良
沈辉
何星晔
韩若冰
郭健
郭毓
郝爱民
梁晓辉
杨文军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Tonghui Technology Co ltd
Nanjing University of Science and Technology
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Changzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
Hangzhou Tonghui Technology Co ltd
Nanjing University of Science and Technology
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Changzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Tonghui Technology Co ltd, Nanjing University of Science and Technology, State Grid Corp of China SGCC, State Grid Jiangsu Electric Power Co Ltd, Changzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd filed Critical Hangzhou Tonghui Technology Co ltd
Priority to CN201811511707.3A priority Critical patent/CN109658516B/zh
Publication of CN109658516A publication Critical patent/CN109658516A/zh
Application granted granted Critical
Publication of CN109658516B publication Critical patent/CN109658516B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种VR培训场景的创建方法，包括步骤100，对输入的实景图片集图像识别；步骤120，记录识别出的作业部件并标记该作业部件的区域；步骤130，获取VR实操流程所需的作业部件以及对应的3维模型；步骤140，判断识别出的作业部件与所需的作业部件是否有交集；步骤150，若是，则在将实景图片集的图片缝合后，将3维模型移动至对应标记区域，以搭建当前VR实操流程对应的VR作业场景；步骤160，若否，则在将实景图片集的图片缝合后，并将所需3维模型按照预设的规则直接移入到缝合的场景中，以搭建当前VR实操流程对应的VR作业场景。本发明还公开了一种VR培训系统以及计算机可读存储介质。本发明的提供的方法可以快速地创建VR作业场景，并且易于加载。

Description

VR培训场景的创建方法、VR培训系统以及计算机可读存储 介质
技术领域
本发明涉及VR技术领域，尤其涉及一种VR培训场景的创建方法、VR培训系统以及计算机可读存储介质。
背景技术
一些专业性较强的工种必须参加相应的技术培训才能上岗。通常上岗培训过程都需要人工进行指导和测试，耗费大量的人力物力，并且理论化过多，学习后没有实践经验。部分培训过程为了增加作业人员的操作经验，会进行现场教学，但现场作业对于初学者来说危险性相对较高，往往在保证安全的前提下不能达到学员亲自操作的目的。为了解决这个问题，现有技术中提出了应用VR技术进行培训的方案，但是现有技术的VR培训场景需要完全依赖3维软件创建，并且创建的作业部件一并显示，如此导致VR课件成本高；而部件一并显示则导致加载运算量大，进而对VR硬件配置要求高。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种VR培训场景的创建方法，旨在解决现有的VR场景创建速度慢，以及场景加载的计算量大的技术问题。
为实现上述目的，本发明提供一种VR培训场景的创建方法，包括
步骤100，对输入的实景图片集进行目标作业部件的图像识别；
步骤120，记录识别出的作业部件并在所述实景图片集中标记该作业部件的区域；
步骤130，获取与该实景图片集关联的一VR实操流程所需的作业部件，以及该作业部件对应的3维模型；
步骤140，判断识别出的作业部件与当前VR实操流程所需的作业部件是否有交集；
步骤150，若是，则在将所述实景图片集的图片缝合后，将匹配所述作业部件的3维模型移动至对应标记区域，并将其余部件的3维模型按照预设的规则移入缝合的场景中，以搭建当前VR实操流程对应的VR作业场景；
步骤160，若否，则在将实景图片集的图片缝合后，并将当前VR实操流程所需的作业部件对应的3维模型按照预设的规则直接移入到缝合的场景中，以搭建当前VR实操流程对应的VR作业场景；
步骤170，将VR实操流程和与之对应的VR作业场景关联地输出。
优选地，所述实景照片集关联有多个VR实操流程，在所述步骤170之后所述方法还还包括：
步骤180：根据其余一VR实操流程所需的作业部件对上一VR实操流程对应的VR作业场景进行更新，以搭建与当前VR实操流程对应的VR作业场景；
步骤190：将当前VR实操流程和与之对应的VR作业场景关联地输出；
步骤200：判断是否还有其他与所述实景照片集关联的VR实操流程未搭建对应的VR作业场景；
步骤210：若是，则重复步骤180至步骤200；
步骤220：若否，则结束创建。
优选地，所述步骤180具体包括：
步骤181：判断识别出的作业部件(记为集合A)与其余一VR实操流程所需的作业部件(记为集合B)是否有交集；
步骤182：若是，则复制上一VR实操流程对应的VR作业场景，移除运算A∩C-A∩B∩C所表征的作业部件的3维模型，保留运算A∩B∩C所表征的作业部件的3维模型，将运算A∩B-A∩B∩C所表征的作业部件的3维模型移动至对应标记区域，并将其余部件的3维模型按照预设的规则更新，以搭建当前VR实操流程对应的VR作业场景，其中C表示上一VR实操流程所需的作业部件；
步骤183：若否，则复制上一VR实操流程对应的VR作业场景，移除上一VR实操流程与识别出的作业部件匹配的3维模型，并将当前VR实操流程与识别出的作业部件匹配的3维模型移动至对应标记区域，并将其余部件的3维模型按照预设的规则更新，以搭建当前VR实操流程对应的VR作业场景。
优选地，所述步骤100具体包括：在对输入的实景图片集进行目标作业部件的图像识别时还对识别出的作业部件的方位进行识别；
所述将作业部件对应的3维模型移动至对应的标记区域的步骤具体包括：根据步骤100识别的方位对移入的3维模型进行位置调整。
优选地，所述作业部件对应的3维模型上设置有若干触发节点，在搭建当前VR实操流程对应的VR作业场景的过程中还包括建立与该触发节点关联的提示脚本。
优选地，在搭建当前VR实操流程对应的VR作业场景的过程中还包括建立与该触发节点关联动画脚本，所述动画脚本为3维模型作业演化动画。
优选地，在将作业部件对应的3维模型移动至标记区域后，对该标记区域的图像以融合邻近图像要素的方式填充。
此外，为实现上述目的，本发明还提供一种VR培训系统，包括：
VR头盔，包括体感定位器，第一定位器以及立体显示器；
操作手柄，包括第二定位器；
位置检测模块，用于检测所述第一定位器与第二定位器的位置；
场景库模块，用于存储有如上所述的方法输出的VR实操流程、VR作业场景以及VR实操流程与VR作业场景之间的关联数据；
培训交互模块，用于根据用户身份或用户账户确定用户当前培训内容；
VR仿真模块，用于根据培训交互模块确定的VR实操流程将与之关联的VR作业场景导入所述VR头盔的立体显示器，以及在将用户虚拟角色导入所述VR作业场景后根据所述位置检测模块检测数据、所述体感定位器的数据更新虚拟角色以及3维模型。
优选地，所述培训交互模块包括VR实操训练模块，所述VR实操训练模块用于在当前培训内容为VR实操训练时提供与VR实操训练的各步骤关联的提示文本；所述VR仿真模块还用于将所述提示问题导入所述VR头盔的立体显示器。
优选地，所述培训交互模块还包括VR实操考试模块，所述VR实操训练模块用于在当前培训内容为VR实操考试时消除与VR实操训练的各步骤关联的提示文本；所述VR仿真模块还用于对用户的操作步骤进行考核评估。
优选地，所述培训交互模块还包括理论学习模块，所述理论学习模块用于提供与实操训练各步骤关联的理论学习文档视频资料；所述VR仿真模块还用于在所述VR头盔的立体显示器中加载手术文档视频资料。
优选地，所述培训交互模块还用于在所述VR仿真模块对用户的操作步骤进行考核评估的分数低于预设阈值时切换至理论学习模块。
优选地，所述培训交互模块还包括理论考试模块，所述理论考试模块用于提供与实操训练各步骤关联的文本试题，并接受与试题关联的用户的输入操作数据；所述VR仿真模块还用于在所述VR头盔的立体显示器中加载所述文本试题。
优选地，还包括VR场景创建模块，所述VR场景创建模块包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的VR培训场景的创建程序，所述VR培训场景的创建程序被所述处理器执行时实现如上所述的VR培训场景的创建方法的步骤。
本发明还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有VR培训场景的创建程序，所述VR培训场景的创建程序被处理器执行时实现如上所述的基于VR技术的培训方法步骤。
本发明VR培训场景的创建方法通过利用实景图片集搭建静态场景，而实景图片集易于获取，从而可以加快VR场景创建速度。在对实景图片集识别后，如果实景图片中有VR实操流程所需的作业部件，则将该作业部件移动至对应的图片区域，从而呈现更为逼真的VR场景，方便用户的虚拟角色交互操作；至于实景图片中的出现的其他VR实操流程所需的部件则不作处理，如此可以加快创建速度，并减少VR场景中出现作业部件的3维模型的数量，减少在加载VR场景的运算量，降低了VR硬件的配置要求。
附图说明
图1为本发明VR培训场景的创建方法第一实施例的流程示意图；
图2为本发明VR培训场景的创建方法第二实施例的流程示意图；
图3为本发明VR培训场景的创建方法第三实施例的流程示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为实现上述目的，本发明提供一种VR培训场景的创建方法。
请参照图1本发明VR培训场景的创建方法第一实施例的流程示意图，该方法包括
步骤100，对输入的实景图片集进行目标作业部件的图像识别；
例如在电网施工的场景中，对室外电力作业环境进行全景扫描以得到实景图片集，即采用环视角度拍摄现实作业环境中三维实景照片采用环视角度比采用单一角度拍摄的三维实景照片更加准确，更能全面反映室外作业环境及电力部件的形状、大小、空间位置等信息。图像识别可以采用深度学习技术，在进行识别之前，已经对大部分可能使用到的电力部件进行多目标深度学习操作，训练出合适的对应权重。将采集得到的电力部件图片作为该模块输入，将识别出的电力部件的型号以文本形式记录。
步骤120，记录识别出的作业部件并在所述实景图片集中标记该作业部件的区域；
记录识别出的作业部件以方便与实际的作业部件的3维模型进行匹配，而标记图片区域则方便将作业部件的3维模型移动至合适的位置。
步骤130，获取与该实景图片集关联的一VR实操流程所需的作业部件，以及该作业部件对应的3维模型；
事先建立关于VR实操流程所需的作业部件，以及该作业部件对应的3维模型的数据库，在需要使用时通过程序调取。
步骤140，判断识别出的作业部件与当前VR实操流程所需的作业部件是否有交集；
通过这种方式判断实景照片中是否出现当前VR实操流程所需的作业部件。
步骤150，若是，则在将所述实景图片集的图片缝合后，将匹配所述作业部件的3维模型移动至对应标记区域，并将其余部件的3维模型按照预设的规则移入缝合的场景中，以搭建当前VR实操流程对应的VR作业场景；
步骤160，若否，则在将实景图片集的图片缝合后，并将当前VR实操流程所需的作业部件对应的3维模型按照预设的规则直接移入到缝合的场景中，以搭建当前VR实操流程对应的VR作业场景；
步骤170，将VR实操流程和与之对应的VR作业场景关联地输出。
本发明VR培训场景的创建方法通过利用实景图片集搭建静态场景，而实景图片集易于获取，从而可以加快VR场景创建速度。在对实景图片集识别后，如果实景图片中有VR实操流程所需的作业部件，则将该作业部件移动至对应的图片区域，从而呈现更为逼真的VR场景，方便用户的虚拟角色交互操作；至于实景图片中的出现的其他VR实操流程所需的部件则不作处理，如此可以加快创建速度，并减少VR场景中出现作业部件的3维模型的数量，减少在加载VR场景的运算量，降低了VR硬件的配置要求。
进一步地，请参照图2本发明VR培训场景的创建方法第二实施例的流程示意图，所述实景照片集关联有多个VR实操流程，在所述步骤170之后所述方法还还包括：
步骤180：根据其余一VR实操流程所需的作业部件对上一VR实操流程对应的VR作业场景进行更新，以搭建与当前VR实操流程对应的VR作业场景；
步骤190：将当前VR实操流程和与之对应的VR作业场景关联地输出；
步骤200：判断是否还有其他与所述实景照片集关联的VR实操流程未搭建对应的VR作业场景；
步骤210：若是，则重复步骤180至步骤200；
步骤220：若否，则结束创建。
通常，在同一个实景场景可以进行多个作业流程，通过遍历各个VR实操流程，并建立与之对应的VR作业场景，使得场景创建实现了自动化。此外，建立场景的方式是对上一VR作业场景进行更新，如此，可以避免重复缝合实景图片集的操作，由此减少了工作量。至于更新的方式，可以先全部删除上一VR实操流程所需的作业部件，然后在将当前VR实操流程所需的部件逐步移入缝合的静态场景中。
进一步地，请参照图3本发明VR培训场景的创建方法第三实施例的流程示意图，所述步骤180具体包括：
步骤181：判断识别出的作业部件(记为集合A)与其余一VR实操流程所需的作业部件(记为集合B)是否有交集；
步骤182：若是，则复制上一VR实操流程对应的VR作业场景，移除运算A∩C-A∩B∩C所表征的作业部件的3维模型，保留运算A∩B∩C所表征的作业部件的3维模型，将运算A∩B-A∩B∩C所表征的作业部件的3维模型移动至对应标记区域，并将其余部件的3维模型按照预设的规则更新，以搭建当前VR实操流程对应的VR作业场景，其中C表示上一VR实操流程所需的作业部件；
步骤183：若否，则复制上一VR实操流程对应的VR作业场景，移除上一VR实操流程与识别出的作业部件匹配的3维模型，并将当前VR实操流程与识别出的作业部件匹配的3维模型移动至对应标记区域，并将其余部件的3维模型按照预设的规则更新，以搭建当前VR实操流程对应的VR作业场景。
在本实施例中，当前VR实操流程的VR作业场景的创建，通过复用上一个VR实操流程的VR作业场景中的移动至缝合的静态场景图片上的3维部件，减少了所需要更新3维部件的数量，由此可进一步地减小更新时所需的计算量。
进一步地，所述步骤100具体包括：在对输入的实景图片集进行目标作业部件的图像识别时还对识别出的作业部件的方位进行识别；
所述将作业部件对应的3维模型移动至对应的标记区域的步骤具体包括：根据步骤100识别的方位对移入的3维模型进行位置调整。
本实施例中，对于作业部件方位的识别可以借助机器学习方法，事先获取的不同方位下的训练样本中学习二维观测与三维方位之间的对应关系，并将学习得到的决策规则或回归函数应用于样本，所得结果作为对样本的方位估计。在现场操作时，该模块将采集得到的图片中的电力部件的方位特征作为决策规划的输入得到3维空间中的方位数据，将得到的方位数据以文本形式记录。通过对移入到静态场景图片上的3维模型进行方位的调整，使得模型的方位更为贴合实际，从而达到更逼真的效果。
进一步地，所述作业部件对应的3维模型上设置有若干触发节点，在搭建当前VR实操流程对应的VR作业场景的过程中还包括建立与该触发节点关联的提示脚本。
本实施例中，通过设置触发节点可以减少位置检测的工作量，例如检测VR硬件的手柄与触发节点的距离，在距离小于预设阈值时判定为接触，并运行提示脚本。该提示脚本可以为高亮三维模型的特定部位，或者声音提醒等。
进一步地，在搭建当前VR实操流程对应的VR作业场景的过程中还包括建立与该触发节点关联动画脚本，所述动画脚本为3维模型作业演化动画。
本实施例中，通过设置动画脚本，可以简化对3维模型的运算量，例如进行剥线的流程，在手柄靠近电缆3维模型的出发节点时，则自动播放外皮剥落的动画，而无需通过仿真的方式实现。
进一步地，在将作业部件对应的3维模型移动至标记区域后，对该标记区域的图像以融合邻近图像要素的方式填充。
本实施例中，在将作业部件对应的3维模型移动至标记区域后，用户可以对其做交互操作，例如移动或者旋转，但是如果进行这种操作时还是标记区域若还有作业部件的实际图像则会使逼真效果打折扣，造成使用者困扰。通过对标记区域进行融合填充，则在3维模型被移走后，用户看到是填充之后的非作业部件的图像，从而达到更为逼真的效果。
此外，为实现上述目的，本发明还提供一种VR培训系统，包括：
VR头盔，包括体感定位器，第一定位器以及立体显示器；
操作手柄，包括第二定位器；
位置检测模块，用于检测所述第一定位器与第二定位器的位置；
场景库模块，用于存储有如上所述的VR培训场景的创建方法方法输出的VR实操流程、VR作业场景以及VR实操流程与VR作业场景之间的关联数据；
培训交互模块，用于根据用户身份或用户账户确定用户当前培训内容；
VR仿真模块，用于根据培训交互模块确定的VR实操流程将与之关联的VR作业场景导入所述VR头盔的立体显示器，以及在将用户虚拟角色导入所述VR作业场景后根据所述位置检测模块检测数据、所述体感定位器的数据更新虚拟角色以及3维模型。
本实施例中，体感定位器用于检测用户的身体移动，第一定位器和第二定位器可以通过无线信号强度或者声波的方式定位用户，位置检测模块则用于适配地检测第一定位器与第二定位器的位置。立体显示器可以采用现有的具有3D显示效果的显示屏，例如左右两屏，或者直接显示3维图像。在一具体的实施例中，5X5平方米范围的室内，操作人员佩戴VR头盔和VR操作手柄后，位置检测模块采集VR头盔和VR手柄的运动数据，培训交互模块根据这些运动数据完成在虚拟作业环境的3D效果映射。头盔中的定位器通过蓝牙设备，将当前的位置数据传递给系统，系统根据该数据，将学员位置设定在虚拟场景中的相对位置上。在操作过程中，头盔实时将定位器的数据传递给系统，使系统根据该数据更新学员位置。当学员要求与物理模型进行交互操作时，系统首先会根据上述手柄定位功能，检测手柄是否与物理模型的触碰点发生接触。若是，系统会通过触碰点的脚本效果，如高亮、闪烁，提示学员已发生触碰。随后，系统通过蓝牙检测手柄的按键信号，若学员扣动扳机键，系统根据程序设定，将物理模型挂载到手柄模型上，实现“拿起”的动作效果。同理，当系统再次检测到扳机键扣动时，系统将解除手柄模型上的物理模型，实现“放下”的动作效果。根据程序设定，在学员进行交互动作时，手柄的方向键负责部分具有动态效果的物理模型的动态操作，如，伸缩、旋转等。具体的，当系统检测到方向键的操作时，首先检测当前物理模型所挂载的按键脚本，根据脚本中所要求的动作内容，在模型数据库中调用该模型的动作效果，并加载到虚拟场景中，实现方向键触发物理模型动态效果的功能。
进一步地，所述培训交互模块包括VR实操训练模块，所述VR实操训练模块用于在当前培训内容为VR实操训练时提供与VR实操训练的各步骤关联的提示文本；所述VR仿真模块还用于将所述提示问题导入所述VR头盔的立体显示器。
进一步地，所述培训交互模块还包括VR实操考试模块，所述VR实操训练模块用于在当前培训内容为VR实操考试时消除与VR实操训练的各步骤关联的提示文本；所述VR仿真模块还用于对用户的操作步骤进行考核评估。
进一步地，所述培训交互模块还包括理论学习模块，所述理论学习模块用于提供与实操训练各步骤关联的理论学习文档视频资料；所述VR仿真模块还用于在所述VR头盔的立体显示器中加载手术文档视频资料。
本实施例中，理论学习模块提供文档资料和视频资料供使用者学习。其中，文档资料来自供电公司提供的操作技术规范，并制作了对应题库，让使用者在学习资料的同时，可以根据题库的出题方向抓住操作要点；视频资料来自供电公司提供的室外作业录像，观看视频不仅可以加强使用者对理论知识的掌握，并且将自身理论在视频中进行复现，有助于提高在实际操作中对理论运用的连贯性。
进一步地，所述培训交互模块还用于在所述VR仿真模块对用户的操作步骤进行考核评估的分数低于预设阈值时切换至理论学习模块。
本实施例中，通过切换可以方便用户返回加强理论的学习，增强培训的效果。
进一步地，所述培训交互模块还包括理论考试模块，所述理论考试模块用于提供与实操训练各步骤关联的文本试题，并接受与试题关联的用户的输入操作数据；所述VR仿真模块还用于在所述VR头盔的立体显示器中加载所述文本试题。
本实施例中，理论考试模块跟据理论学习模块所提供的理论知识以及所使用的题库随机抽取25道选择题，25道判断题，使用者有1小时的作答时间。若没有在规定时间内完成所有题目，系统将自动判定未作答题目得分为0。在考试结束后，系统会根据使用者的作答情况统计分数，并显示在屏幕上，供使用者参考。在企业使用理论考试模块对学员理论水平进行测试时，所有学员的测试成绩会上传至数据库，供企业排名筛选。在企业组织测试的过程中，企业可以根据测试环境的需要，对测试内容加以排序，甚至多卷测试，防止测试出现舞弊现象。
进一步地，还包括VR场景创建模块，所述VR场景创建模块包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的VR培训场景的创建程序，所述VR培训场景的创建程序被所述处理器执行时实现如上所述的VR培训场景的创建方法的步骤。
所述的VR培训场景的创建方法的有益效果请参照上述实施例，在此不作赘述，通过将VR场景创建模块集成到VR培训系统中，从而方便用户一并的创建VR场景，并使用创建的VR作业场景。
本发明还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有VR培训场景的创建程序，所述VR培训场景的创建程序被处理器执行时实现如上所述的基于VR技术的培训方法步骤。
所述的VR培训场景的创建方法的有益效果请参照上述实施例，在此不作赘述，本实施例的计算机可读存储介质被使用时具有VR培训场景的创建方法所有的有益效果。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (14)

1.一种VR培训场景的创建方法，其特征在于，包括
步骤100，对输入的实景图片集进行目标作业部件的图像识别；
步骤120，记录识别出的作业部件并在所述实景图片集中标记该作业部件的区域；
步骤130，获取与该实景图片集关联的一VR实操流程所需的作业部件，以及该作业部件对应的3维模型；
步骤140，判断识别出的作业部件与当前VR实操流程所需的作业部件是否有交集；
步骤150，若是，则在将所述实景图片集的图片缝合后，将匹配所述作业部件的3维模型移动至对应标记区域，并将其余部件的3维模型按照预设的规则移入缝合的场景中，以搭建当前VR实操流程对应的VR作业场景；
步骤160，若否，则在将实景图片集的图片缝合后，并将当前VR实操流程所需的作业部件对应的3维模型按照预设的规则直接移入到缝合的场景中，以搭建当前VR实操流程对应的VR作业场景；
步骤170，将VR实操流程和与之对应的VR作业场景关联地输出；
所述实景照片集关联有多个VR实操流程，在所述步骤170之后所述方法还包括：
步骤180：根据其余一VR实操流程所需的作业部件对上一VR实操流程对应的VR作业场景进行更新，以搭建与当前VR实操流程对应的VR作业场景；
步骤190：将当前VR实操流程和与之对应的VR作业场景关联地输出；
步骤200：判断是否还有其他与所述实景照片集关联的VR实操流程未搭建对应的VR作业场景；
步骤210：若是，则重复步骤180至步骤200；
步骤220：若否，则结束创建。
2.如权利要求1所述的VR培训场景的创建方法，其特征在于，所述步骤180具体包括：
步骤181：判断识别出的作业部件记为集合A与其余一VR实操流程所需的作业部件记为集合B是否有交集；
步骤182：若是，则复制上一VR实操流程对应的VR作业场景，移除运算A∩C-A∩B∩C所表征的作业部件的3维模型，保留运算A∩B∩C所表征的作业部件的3维模型，将运算A∩B-A∩B∩C所表征的作业部件的3维模型移动至对应标记区域，并将其余部件的3维模型按照预设的规则更新，以搭建当前VR实操流程对应的VR作业场景，其中C表示上一VR实操流程所需的作业部件；
步骤183：若否，则复制上一VR实操流程对应的VR作业场景，移除上一VR实操流程与识别出的作业部件匹配的3维模型，并将当前VR实操流程与识别出的作业部件匹配的3维模型移动至对应标记区域，并将其余部件的3维模型按照预设的规则更新，以搭建当前VR实操流程对应的VR作业场景。
3.如权利要求1或2所述的VR培训场景的创建方法，其特征在于，所述步骤100具体包括：在对输入的实景图片集进行目标作业部件的图像识别时还对识别出的作业部件的方位进行识别；
将作业部件对应的3维模型移动至对应的标记区域的步骤具体包括：根据步骤100识别的方位对移入的3维模型进行位置调整。
4.如权利要求1或2所述的VR培训场景的创建方法，其特征在于，所述作业部件对应的3维模型上设置有若干触发节点，在搭建当前VR实操流程对应的VR作业场景的过程中还包括建立与该触发节点关联的提示脚本。
5.如权利要求4所述的VR培训场景的创建方法，其特征在于，在搭建当前VR实操流程对应的VR作业场景的过程中还包括建立与该触发节点关联动画脚本，所述动画脚本为3维模型作业演化动画。
6.如权利要求1或2所述的VR培训场景的创建方法，其特征在于，
在将作业部件对应的3维模型移动至标记区域后，对该标记区域的图像以融合邻近图像要素的方式填充。
7.一种VR培训系统，其特征在于，包括：
VR头盔，包括体感定位器，第一定位器以及立体显示器；
操作手柄，包括第二定位器；
位置检测模块，用于检测所述第一定位器与第二定位器的位置；
场景库模块，用于存储有如权利要求1-6任一项所述的方法输出的VR实操流程、VR作业场景以及VR实操流程与VR作业场景之间的关联数据；
培训交互模块，用于根据用户身份或用户账户确定用户当前培训内容；
VR仿真模块，用于根据培训交互模块确定的VR实操流程将与之关联的VR作业场景导入所述VR头盔的立体显示器，以及在将用户虚拟角色导入所述VR作业场景后根据所述位置检测模块检测数据、所述体感定位器的数据更新虚拟角色以及3维模型。
8.如权利要求7所述的VR培训系统，其特征在于，所述培训交互模块包括VR实操训练模块，所述VR实操训练模块用于在当前培训内容为VR实操训练时提供与VR实操训练的各步骤关联的提示文本；所述VR仿真模块还用于将提示问题导入所述VR头盔的立体显示器。
9.如权利要求7或8所述的VR培训系统，其特征在于，所述培训交互模块还包括VR实操考试模块，所述VR实操考试模块用于在当前培训内容为VR实操考试时消除与VR实操训练的各步骤关联的提示文本；所述VR仿真模块还用于对用户的操作步骤进行考核评估。
10.如权利要求9所述的VR培训系统，其特征在于，所述培训交互模块还包括理论学习模块，所述理论学习模块用于提供与实操训练各步骤关联的理论学习文档视频资料；所述VR仿真模块还用于在所述VR头盔的立体显示器中加载文档视频资料。
11.如权利要求10所述的VR培训系统，其特征在于，所述培训交互模块还用于在所述VR仿真模块对用户的操作步骤进行考核评估的分数低于预设阈值时切换至理论学习模块。
12.如权利要求9所述的VR培训系统，其特征在于，所述培训交互模块还包括理论考试模块，所述理论考试模块用于提供与实操训练各步骤关联的文本试题，并接受与试题关联的用户的输入操作数据；所述VR仿真模块还用于在所述VR头盔的立体显示器中加载所述文本试题。
13.如权利要求7所述的VR培训系统，其特征在于，还包括VR场景创建模块，所述VR场景创建模块包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的VR培训场景的创建程序。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有VR培训场景的创建程序，所述VR培训场景的创建程序被处理器执行时实现如权利要求1至6中任一项所述的VR培训场景的创建方法。
CN201811511707.3A 2018-12-11 2018-12-11 Vr培训场景的创建方法、vr培训系统以及计算机可读存储介质 Active CN109658516B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811511707.3A CN109658516B (zh) 2018-12-11 2018-12-11 Vr培训场景的创建方法、vr培训系统以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811511707.3A CN109658516B (zh) 2018-12-11 2018-12-11 Vr培训场景的创建方法、vr培训系统以及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109658516A CN109658516A (zh) 2019-04-19
CN109658516B true CN109658516B (zh) 2022-08-30

Family

ID=66113279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811511707.3A Active CN109658516B (zh) 2018-12-11 2018-12-11 Vr培训场景的创建方法、vr培训系统以及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109658516B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163580B (zh) * 2019-05-31 2022-08-30 国网江苏省电力有限公司常州供电分公司 多任务vr培训场景的创建方法、vr培训系统以及存储介质
CN110244842B (zh) * 2019-05-31 2023-01-03 国网江苏省电力有限公司常州供电分公司 Vr模型、vr场景处理方法、vr培训系统、存储介质及电子设备
US11443653B2 (en) 2019-06-06 2022-09-13 National Taiwan Normal University Method and system for skill learning
CN110570715B (zh) * 2019-09-17 2021-11-16 国网浙江省电力有限公司浦江县供电公司 一种基于增强现实技术的电力仿真实验装置
CN111401723A (zh) * 2020-03-11 2020-07-10 南通四建集团有限公司 一种劳务实名制系统与bim技术融合应用的建筑施工岗前安全管理的方法
CN112382161B (zh) * 2020-11-19 2023-02-10 天佑物流股份有限公司 一种危险品运输vr培训方法、系统、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093665A (zh) * 2013-01-09 2013-05-08 湖州电力局 配网运检协同仿真培训装置及方法
US20140002451A1 (en) * 2011-03-31 2014-01-02 Thomson Licensing Scene graph for defining a stereoscopic graphical object
CN104615237A (zh) * 2013-11-05 2015-05-13 精工爱普生株式会社 图像显示系统、控制其的方法及头部佩戴型显示装置
CN106095105A (zh) * 2016-06-21 2016-11-09 西南交通大学 一种牵引变电所值班人员虚拟沉浸式培训仿真系统和方法
CN108154772A (zh) * 2018-01-09 2018-06-12 国网江苏省电力有限公司电力科学研究院 基于虚拟现实的变电站协同仿真培训系统构建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140002451A1 (en) * 2011-03-31 2014-01-02 Thomson Licensing Scene graph for defining a stereoscopic graphical object
CN103093665A (zh) * 2013-01-09 2013-05-08 湖州电力局 配网运检协同仿真培训装置及方法
CN104615237A (zh) * 2013-11-05 2015-05-13 精工爱普生株式会社 图像显示系统、控制其的方法及头部佩戴型显示装置
CN106095105A (zh) * 2016-06-21 2016-11-09 西南交通大学 一种牵引变电所值班人员虚拟沉浸式培训仿真系统和方法
CN108154772A (zh) * 2018-01-09 2018-06-12 国网江苏省电力有限公司电力科学研究院 基于虚拟现实的变电站协同仿真培训系统构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
虚拟现实环境下体验式电力实训交互模型研究及其应用;邵剑等;《科技传播》;20180510;第137-140页 *

Also Published As

Publication number Publication date
CN109658516A (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
CN109658516B (zh) Vr培训场景的创建方法、vr培训系统以及计算机可读存储介质
Oufqir et al. ARKit and ARCore in serve to augmented reality
US6976846B2 (en) Telecommunications virtual simulator
US8924334B2 (en) Method and system for generating a surgical training module
US20160267808A1 (en) Augmented Reality
GB2599831A (en) Predictive virtual training systems, apparatuses, interfaces, and methods for implementing same
Gutierrez et al. IMA-VR: A multimodal virtual training system for skills transfer in Industrial Maintenance and Assembly tasks
CN111027486A (zh) 一种中小学课堂教学效果大数据辅助分析评价系统及其方法
CN107833503A (zh) 配网核心作业增强现实仿真培训系统
CN109545003A (zh) 一种显示方法、装置、终端设备及存储介质
Firdaus et al. Augmented reality for interactive promotion media at Faculty of Computer Science and Information Technology Mulawarman University
CN117151949A (zh) 一种基于bim技术的航道工程虚拟培训方法及系统
CN115660909A (zh) 一种数字学校平台沉浸式数字化学习方法及系统
CN114299777A (zh) 一种虚拟现实工业仿真训练系统
US11335084B2 (en) Image object anomaly detection
CN117333644A (zh) 一种虚拟现实的显示画面生成方法、装置、设备和介质
CN111488090A (zh) 交互方法、装置、交互系统、电子设备及存储介质
KR20140088286A (ko) Nui 장치를 이용한 온라인 게이트볼 게임 서비스 시스템 및 방법
CN116668605A (zh) 元宇宙演播室系统、演播方法、存储介质及电子设备
CN113268626A (zh) 数据处理方法、装置、电子设备及存储介质
CN114170859A (zh) 一种基于虚拟现实的在线教学系统和方法
CN111580653A (zh) 一种智能交互方法及智能交互式课桌
CN116682304B (zh) 一种虚拟现实环境下的示教方法、系统、存储介质及设备
US20230104870A1 (en) Intelligent authoring for virtual reality
KR20230103917A (ko) 다중 카메라를 이용한 xr기반 비대면 실습 방법 및 이를 이용한 서버

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant