CN116661643A - 一种基于vr技术的多用户虚实协同方法、装置、电子设备及存储介质 - Google Patents

一种基于vr技术的多用户虚实协同方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116661643A
CN116661643A CN202310963370.4A CN202310963370A CN116661643A CN 116661643 A CN116661643 A CN 116661643A CN 202310963370 A CN202310963370 A CN 202310963370A CN 116661643 A CN116661643 A CN 116661643A
Authority
CN
China
Prior art keywords
virtual
data
user
training
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310963370.4A
Other languages
English (en)
Other versions
CN116661643B (zh
Inventor
韩伟
李学良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Ustep Information Technology Co ltd
Original Assignee
Nanjing Ustep Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Ustep Information Technology Co ltd filed Critical Nanjing Ustep Information Technology Co ltd
Priority to CN202310963370.4A priority Critical patent/CN116661643B/zh
Publication of CN116661643A publication Critical patent/CN116661643A/zh
Application granted granted Critical
Publication of CN116661643B publication Critical patent/CN116661643B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G06Q50/2057—Career enhancement or continuing education service

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Technology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及计算机技术领域，本发明公开了一种基于VR技术的多用户虚实协同方法、装置、电子设备及存储介质，包括当用户均佩戴好便携VR设备并处于目标现实培训环境时，调取目标模拟培训课件，并反馈至每个便携VR设备；当每个用户处于虚拟煤矿模拟场景时，采集虚拟场景音源和用户语音数据进行解析生成目标交互数据，并发送至目标便携VR设备；当对协同培训虚拟体进行操控时，采集动作姿态数据，获取每个用户与实体协同道具之间的实际位置关系数据；基于实际位置关系数据对协同培训虚拟体与虚拟用户角色进行调整，以及基于动作姿态数据对协同培训虚拟体进行同步演示操控，使协同培训虚拟体产生同步移动，实现多用户虚实协同。

Description

一种基于VR技术的多用户虚实协同方法、装置、电子设备及存 储介质
技术领域
本发明涉及计算机技术领域，更具体地说，本发明涉及一种基于VR技术的多用户虚实协同方法、装置、电子设备及存储介质。
背景技术
当前针对煤矿作业安全以及应急救援的培训和实践模拟大多基于实际场景和实际生产设备实现，然而其本身的设备危险性和损耗能高的问题就难以解决，并且相对于其他行业，煤矿领域的实际场景模拟演练组织难度大、难以复现实物场景和工矿条件下的体验感、筹备时间长、场景限制多、管理成本高；虽然基于虚拟现实的技术也得到了越来越广泛的应用，但仍存在难以实现与实物结合、难以多人协作、难以将用户在协同过程中的空间数据留存等问题，现有的基于VR的模拟演练大多采用封闭式环境实现VR世界的体验，在VR空间中只能单人操作，缺乏自我感知性和社交性（岗位协同）；因此如何基于VR技术实现多用户虚实协同成为当下研究热点。
目前，现有基于VR技术的虚拟培训方法主要针对单人操控实现，此种方式无法实现实时、流畅的协同体验；当然也存在部分改进的基于VR技术的虚拟培训方法，例如授权公告号为CN113377200B的中国专利公开了一种基于VR技术的交互式培训方法及装置、存储介质、计算机设备，再例如申请公开号为CN115167682A的中国专利公开了一种煤矿灾害急救援多人协同VR演练系统，还例如授权公告号为CN110033665B的中国专利公开了一种电力VR仿真培训的多人协同方法；上述方法虽能实现多用户的虚拟协同，但经发明人对上述方法进行研究和实际应用发现，上述方法至少存在以下部分缺陷：
（1）完全依赖于或完全基于虚拟场景，缺乏一定的虚实结合或虚实结合程度不高，使多用户虚实协同体验感差，难以使用户达到入脑入心的效果；
（2）无法准确地截取语音交互数据以及无法确定交互对象，导致多用户协同效率较低，且缺乏基于现实场景中的现实实体对虚拟仿真物体进行调整的手段；
（3）在增加或减少用户时，易出现数据卡顿或丢失，导致多用户协同场景不一致，难以实现新接入用户的无缝衔接，从而难以提高不同部门之间的协同能力，进而难以提高煤矿作业和救援人员之间的协同效率。
发明内容
为了克服现有技术的上述缺陷，本发明的实施例提供一种基于VR技术的多用户虚实协同方法、装置、电子设备及存储介质。
为实现上述目的，本发明提供如下技术方案：
一种基于VR技术的多用户虚实协同方法，所述方法基于VR模拟培训系统实现，所述VR模拟培训系统内包括多个现实培训环境和中心服务器，每个所述现实培训环境内包括若干便携VR设备、至少一个监控设备和协同辅助设备，所述方法包括：
当用户均佩戴好便携VR设备并处于目标现实培训环境时，调取中心服务器内的目标模拟培训课件，并反馈至每个便携VR设备；所述目标现实培训环境内还包括至少一个实体协同道具，所述目标模拟培训课件为虚拟煤矿模拟场景，所述虚拟煤矿模拟场景中包含协同培训虚拟体和M个虚拟用户角色，M个所述虚拟用户角色与每个用户一一对应，至少一个所述实体协同道具与协同培训虚拟体相对应，M为大于零的正整数集；
当每个用户通过便携VR设备并基于目标模拟培训课件处于虚拟煤矿模拟场景时，采集虚拟场景音源和用户语音数据，基于虚拟场景音源和用户语音数据进行解析生成目标交互数据，并发送至目标便携VR设备；
当每个用户根据目标交互数据对协同培训虚拟体进行操控时，实时采集在目标现实培训环境中每个用户的动作姿态数据，以及获取每个用户与实体协同道具之间的实际位置关系数据；
基于实际位置关系数据并通过协同辅助设备对协同培训虚拟体与虚拟用户角色进行调整，以及基于动作姿态数据对协同培训虚拟体进行同步演示操控，并使协同培训虚拟体产生同步移动，以实现多用户的虚实协同。
进一步地，调取中心服务器内的目标模拟培训课件，包括：
通过监控设备采集目标现实培训环境的图像；
对所述目标现实培训环境的图像进行中值滤波，以及提取预存于中心服务器中的N幅培训场景图，N为大于零的正整数集；
将N幅培训场景图与目标现实培训环境的图像进行相似度计算，获取相似度最大的培训场景图；
基于培训场景图与模拟培训课件的预设关系，将相似度最大的培训场景图相绑定的模拟培训课件作为目标模拟培训课件。
进一步地，基于虚拟场景音源和用户语音数据进行解析生成目标交互数据，包括：
对每一用户语音数据进行识别，判断是否存在预定敏感开头词，若存在，则基于对应用户语音数据进行分析，以生成目标交互数据；若不存在，则将每一用户语音数据与虚拟场景音源进行合成，生成场景合成音频；
将场景合成音频发送至每一便携VR设备；或将目标交互数据发送至目标便携VR设备。
进一步地，基于对应用户语音数据进行分析，包括：
提取存在预定敏感开头词的对应用户语音数据，以及提取对应用户语音数据中的敏感结束词；
将敏感开头词至敏感结束词之间的用户语音数据作为初始语音交互数据；
分别将所述初始语音交互数据与虚拟场景音源进行时域转化，得到第一时域图和第二时域图；
分别计算第一时域图和第二时域图振幅平均值，得到第一振幅平均值和第二振幅平均值，将第一振幅平均值和第二振幅平均值的差值作为振幅平均差；
设置振幅平均阈值，将所述振幅平均差与振幅平均阈值进行比较，若振幅平均差大于振幅平均阈值，则直接将初始语音交互数据与虚拟场景音源进行合成，得到目标交互数据；若振幅平均差小于等于振幅平均阈值，则对初始语音交互数据进行音频增益，将音频增益后的初始语音交互数据与虚拟场景音源进行合成，得到目标交互数据。
进一步地，将目标交互数据发送至目标便携VR设备，包括：
提取目标交互数据中的敏感开头词或敏感结束词；
基于敏感开头词与便携VR设备之间的预设关系或基于敏感结束词与便携VR设备之间的预设关系，确定对应便携VR设备，将对应便携VR设备作为目标便携VR设备；
将目标交互数据发送至目标便携VR设备。
进一步地，实际位置关系数据包括实际高度数据和实际距离数据；所述实际高度数据和实际距离数据的获取过程如下：
确定实体协同道具的至少一个关键部位；
获取每个所述关键部位的反射信号，根据反射信号测算得出实际高度数据和实际距离数据。
进一步地，所述确定实体协同道具的至少一个关键部位，包括：
采集现实培训环境内实体协同道具的图像；
基于现实培训环境内实体协同道具的图像提取预存于中心服务器中的实体协同道具标准图像；
将现实培训环境内实体协同道具的图像与实体协同道具标准图像进行比对，提取实体协同道具标准图像中的至少一个标记区域；
将至少一个所述标记区域作为实体协同道具的至少一个关键部位。
进一步地，对协同培训虚拟体与虚拟用户角色进行调整，包括：
实时提取实际位置关系数据中的实际高度数据和实际距离数据，以及实时获取虚拟煤矿模拟场景中每一虚拟用户角色与协同培训虚拟体的虚拟位置关系数据；所述虚拟位置关系数据包括仿真高度数据和仿真距离数据；
将实际高度数据和实际距离数据按预设比例关系进行转化；
将转化后的实际高度数据和实际距离数据，分别与仿真高度数据和仿真距离数据进行差值计算，得到第一高度差值和第一距离差值；
判断所述第一高度差值或第一距离差值是否属于预设差值阈值范围，若不属于，则基于第一高度差值或第一距离差值对协同培训虚拟体与虚拟用户角色进行调整；若属于，则说明协同培训虚拟体与虚拟用户角色为准确的位置关系，无需调整。
进一步地，所述方法还包括：
当T时刻出现新的用户通过便携VR设备接入或退出目标现实培训环境时，获取T时刻下每个便携VR设备中的场景帧，将T时刻下每个便携VR设备中的场景帧标记为第一场景帧，T为大于零的正整数集；
提取缓存于协同辅助设备中T-1时刻下的场景帧，将缓存于协同辅助设备中T-1时刻下的场景帧标记为第二场景帧；
提取第一场景帧的时间戳，以及提取第二场景帧的时间戳，判断第一场景帧的时间戳与第二场景帧的时间戳的差值是否等于预设标准差值，若不等于，则基于协同辅助设备进行分析处理，以生成同一场景帧；若等于，则说明不存在数据卡顿或丢失，无需进行处理；
将同一场景帧分发至各对应便携VR设备中，以实现在新用户接入或退出时的多用户虚实协同。
进一步地，基于协同辅助设备进行分析处理，包括：
获取T+1时刻在协同辅助设备中副本虚拟煤矿模拟场景的场景帧；
将T+1时刻在协同辅助设备中副本虚拟煤矿模拟场景的场景帧作为同一场景帧。
一种基于VR技术的多用户虚实协同装置，包括：
任务获取显示模块，用于当用户均佩戴好便携VR设备并处于目标现实培训环境时，调取中心服务器内的目标模拟培训课件，并反馈至每个便携VR设备；所述目标现实培训环境内还包括至少一个实体协同道具，所述目标模拟培训课件为虚拟煤矿模拟场景，所述虚拟煤矿模拟场景中包含协同培训虚拟体和M个虚拟用户角色，M个所述虚拟用户角色与每个用户一一对应，至少一个所述实体协同道具与协同培训虚拟体相对应，M为大于零的正整数集；
第一数据采集处理模块，用于当每个用户通过便携VR设备并基于目标模拟培训课件处于虚拟煤矿模拟场景时，采集虚拟场景音源和用户语音数据，基于虚拟场景音源和用户语音数据进行解析生成目标交互数据，并发送至目标便携VR设备；
第二数据采集处理模块，用于当每个用户根据目标交互数据对协同培训虚拟体进行操控时，实时采集在目标现实培训环境中每个用户的动作姿态数据，以及获取每个用户与实体协同道具之间的实际位置关系数据；
数据分析及协同处理模块，用于基于实际位置关系数据并通过协同辅助设备对协同培训虚拟体与虚拟用户角色进行调整，以及基于动作姿态数据对协同培训虚拟体进行同步演示操控，并使协同培训虚拟体产生同步移动，以实现多用户的虚实协同。
进一步地，所述装置还包括：
数据获取模块，用于当T时刻出现新的用户通过便携VR设备接入或退出目标现实培训环境时，获取T时刻下每个便携VR设备中的场景帧，将T时刻下每个便携VR设备中的场景帧标记为第一场景帧，T为大于零的正整数集；
提取标记模块，用于提取缓存于协同辅助设备中T-1时刻下的场景帧，将缓存于协同辅助设备中T-1时刻下的场景帧标记为第二场景帧；
数据判断模块，用于提取第一场景帧的时间戳，以及提取第二场景帧的时间戳，判断第一场景帧的时间戳与第二场景帧的时间戳的差值是否等于预设标准差值，若不等于，则基于协同辅助设备进行分析处理，以生成同一场景帧；若等于，则说明不存在数据卡顿或丢失，无需进行处理；
同步分发模块，用于将同一场景帧分发至各对应便携VR设备中，以实现在新用户接入或退出时的多用户虚实协同。
一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述一种基于VR技术的多用户虚实协同方法。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述一种基于VR技术的多用户虚实协同方法。
相比于现有技术，本发明的有益效果在于：
（1）本申请公开了一种基于VR技术的多用户虚实协同方法、装置、电子设备及存储介质，其不全依赖于虚拟场景，通过设计一定程度的虚实结合，本发明使多用户虚实协同体验感较高，能使对用户培训达到入脑入心的效果；
（2）本申请公开了一种基于VR技术的多用户虚实协同方法、装置、电子设备及存储介质，其通过对虚拟场景音源和用户语音数据进行解析生成目标交互数据，本发明能准确地截取语音交互数据，并确定交互对象，从而有利于提高多用户协同效率；此外，通过基于实际位置关系数据对协同培训虚拟体与虚拟用户角色进行调整，本发明摆脱了传统手柄（手持设备）的束缚，让用户基于现实实体对协同培训虚拟体进行协同配合，进一步提高了多用户虚实协同时的体验感；
（3）本申请公开了一种基于VR技术的多用户虚实协同方法、装置、电子设备及存储介质，其将T+1时刻在协同辅助设备中副本虚拟煤矿模拟场景的场景帧作为同一场景帧，并将该同一场景帧分发至各对应便携VR设备中，从而能够避免增加或减少用户时，出现数据卡顿或丢失，有利于保证多用户协同场景的一致性，有利于提高不同部门之间的协同能力，进而提高煤矿作业和救援人员之间的协同效率。
附图说明
图1为本发明实施例3提供的一种基于VR技术的多用户虚实协同方法的示意图；
图2为本发明实施例4提供的一种基于VR技术的多用户虚实协同方法的示意图；
图3为本发明实施例1提供的一种基于VR技术的多用户虚实协同装置的示意图；
图4为本发明实施例2提供的一种基于VR技术的多用户虚实协同装置的示意图；
图5为本发明实施例5提供一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
请参阅图3所示，本实施例公开提供了一种基于VR技术的多用户虚实协同装置，包括：
任务获取显示模块210，用于当用户均佩戴好便携VR设备并处于目标现实培训环境时，调取中心服务器内的目标模拟培训课件，并反馈至每个便携VR设备；所述目标现实培训环境内还包括至少一个实体协同道具，所述目标模拟培训课件为虚拟煤矿模拟场景，所述虚拟煤矿模拟场景中包含协同培训虚拟体和M个虚拟用户角色，M个所述虚拟用户角色与每个用户一一对应，至少一个所述实体协同道具与协同培训虚拟体相对应，M为大于零的正整数集；
需要说明的是：每个现实培训环境处于一个培训室中，每个所述现实培训环境的四周均安装有至少一个探测传感器，所述探测传感器、中心服务器、若干便携VR设备、至少一个监控设备和协同辅助设备之间通过无线和/或有线方式通信连接；所述探测传感器包括但不限于距离传感器、光学传感器和摄像头等，所述便携VR设备包括但不限于头戴式VR眼镜、动作捕捉传感器、感应手套和测距传感器；其中，所述头戴式VR眼镜基于显示模块接收并显示目标现实培训环境，所述头戴式VR眼镜还基于通信模块接收或发出用户之间的交互数据；所述动作捕捉传感器设置于用户重要关节上（所述重要关节包括但不限于膝、肩、踝、肘和髋等），所述动作捕捉传感器包括但不限于光学式动作捕捉传感器、惯性式动作捕捉传感器和姿势传感器等等，或具体为上述传感器中的一种，所述感应手套用于追踪用户手部的运动和姿势，所述测距传感器具体为激光测距传感器或超声波测距传感器中的一种；
应当了解的是：模拟培训课件包括至少一个，所述模拟培训课件为通过人为利用软件构建生成的三维模型课件，并预存于中心服务器中；在该三维模型课件中至少包含虚拟的煤矿场景（即虚拟煤矿模拟场景）、虚拟的协同对象（即协同培训虚拟体）以及基于每个用户的人体1比1制作得到的虚拟的用户角色（即M个虚拟用户角色），其中虚拟煤矿模拟场景还包含虚拟场景音源；
还应当了解的是：多个所述现实培训环境是指基于虚拟煤矿模拟场景或基于现实煤矿环境进行简化布置的培训场景，其中包括至少一个实体协同道具；所述实体协同道具包括但不限于救援担架、救生绳索、抢险器械、消防装置和障碍物等实体道具中的一种或多种，所述实体协同道具可由碳纤维、泡沫、塑料、皮革或木头等构成；
还需要说明的是：所述目标现实培训环境的确定过程为，当若干用户进入多个现实培训环境中的一个现实培训环境时，则将该现实培训环境作为目标现实培训环境；
在一个实施步骤中，调取中心服务器内的目标模拟培训课件，包括：
通过监控设备采集目标现实培训环境的图像；
对所述目标现实培训环境的图像进行中值滤波，以及提取预存于中心服务器中的N幅培训场景图，N为大于零的正整数集；
将N幅培训场景图与目标现实培训环境的图像进行相似度计算，获取相似度最大的培训场景图；
需要说明的是：所述相似度计算采用的算法具体为余弦相似度、欧式距离或皮尔逊相关系数中的一种；
基于培训场景图与模拟培训课件的预设关系，将相似度最大的培训场景图相绑定的模拟培训课件作为目标模拟培训课件；
还需要说明的是：培训场景图与模拟培训课件的关系预存于中心服务器中，所述培训场景图与模拟培训课件是指每个培训场景图均对应有且只有一个模拟培训课件，进一步说就是，每个培训场景图与一个模拟培训课件相绑定；
应当了解的是：所述VR模拟培训系统还包括服务控制端，所述服务控制端分别与中心服务器、若干便携VR设备、至少一个监控设备和协同辅助设备之间通过无线和/或有线方式通信连接，所述服务控制端用于对上述设备进行管理；
在另一个实施步骤中，调取中心服务器内的目标模拟培训课件，还包括：培训管理者通过服务控制端输入关键字调取中心服务器中的目标模拟培训课件；
第一数据采集处理模块220，用于当每个用户通过便携VR设备并基于目标模拟培训课件处于虚拟煤矿模拟场景时，采集虚拟场景音源和用户语音数据，基于虚拟场景音源和用户语音数据进行解析生成目标交互数据，并发送至目标便携VR设备；
应当了解的是：由于用户便携VR设备需贴身佩戴，并且需满足用户沉浸式的体验感，当用户进入虚拟煤矿模拟场景时，虚拟煤矿模拟场景中的虚拟场景音源的声音通常非常大，并且由于用户较多的原因易导致用户语音数据产生交错，在此背景下进行多用户的协同时，常常无法准确地截取语音交互数据以及无法确定交互对象，导致多用户协同效率较低，进而容易使得培训效果不佳；为解决上述问题，本步骤对此进行如下设计，详情见下文；
具体的，基于虚拟场景音源和用户语音数据进行解析生成目标交互数据，包括：
对每一用户语音数据进行识别，判断是否存在预定敏感开头词，若存在，则基于对应用户语音数据进行分析，以生成目标交互数据；若不存在，则将每一用户语音数据与虚拟场景音源进行合成，生成场景合成音频；
具体的，基于对应用户语音数据进行分析，包括：
提取存在预定敏感开头词的对应用户语音数据，以及提取对应用户语音数据中的敏感结束词；
将敏感开头词至敏感结束词之间的用户语音数据作为初始语音交互数据；
应当注意的是：所述初始语音交互数据中包含敏感开头词和敏感结束词；所述敏感开头词和敏感结束词可人为设定，对此本发明不做过多约束，例如：敏感开头词可为“001开始”，所述敏感结束词可为“001结束”；或者敏感开头词可为“1号call”，所述敏感结束词可为“1号over”；
分别将所述初始语音交互数据与虚拟场景音源进行时域转化，得到第一时域图和第二时域图；
分别计算第一时域图和第二时域图振幅平均值，得到第一振幅平均值和第二振幅平均值，将第一振幅平均值和第二振幅平均值的差值作为振幅平均差；
需要说明的是：第一时域图或第二时域图振幅平均值的计算公式为：；式中：/>表示第一振幅平均值或第二振幅平均值，/>表示第一时域图或第二时域图在第i时刻的振幅值，/>表示第一时域图或第二时域图的总时间；
设置振幅平均阈值，将所述振幅平均差与振幅平均阈值进行比较，若振幅平均差大于振幅平均阈值，则直接将初始语音交互数据与虚拟场景音源进行合成，得到目标交互数据；若振幅平均差小于等于振幅平均阈值，则对初始语音交互数据进行音频增益，将音频增益后的初始语音交互数据与虚拟场景音源进行合成，得到目标交互数据；
将场景合成音频发送至每一便携VR设备；或将目标交互数据发送至目标便携VR设备；
应当了解的是：当将场景合成音频发送至每一便携VR设备时，说明此时不存在协同任务（或可理解为每个用户在执行单机任务），而将目标交互数据发送至每一便携VR设备说明此时存在协同任务，而本发明主要针对存在协同任务，因此对于不存在协同任务时的场景合成音频的发送，非本发明处理对象，因此对此本发明不做过多赘述；
具体的，将目标交互数据发送至目标便携VR设备，包括：
提取目标交互数据中的敏感开头词或敏感结束词；
基于敏感开头词与便携VR设备之间的预设关系或基于敏感结束词与便携VR设备之间的预设关系，确定对应便携VR设备，将对应便携VR设备作为目标便携VR设备；
需要说明的是：敏感开头词与便携VR设备之间的预设关系或敏感结束词与便携VR设备之间的预设关系预存于中心服务器中，所述敏感开头词与便携VR设备之间的预设关系，以及敏感结束词与便携VR设备之间的预设关系是指每一个敏感开头词或敏感结束词有且对应只有一个便携VR设备，进一步说明就是：每一个敏感开头词或敏感结束词与一个便携VR设备相关联绑定；应当了解的是：敏感开头词与便携VR设备之间的预设关系或敏感结束词与便携VR设备之间的预设关系可人为设定、绑定或解绑；
将目标交互数据发送至目标便携VR设备。
第二数据采集处理模块230，用于当每个用户根据目标交互数据对协同培训虚拟体进行操控时，实时采集在目标现实培训环境中每个用户的动作姿态数据，以及获取每个用户与实体协同道具之间的实际位置关系数据；
具体的，实际位置关系数据包括实际高度数据和实际距离数据；
应当了解的是：每个用户的所述动作姿态数据通过便携VR设备中的动作捕捉传感器和感应手套以及基于至少一个监控设备采集和/或分析得到；每个用户与实体协同道具之间的实际位置关系数据通过测距传感器采集得到；
具体的，所述实际高度数据和实际距离数据的获取过程如下：
确定实体协同道具的至少一个关键部位；
需要说明的是：所述关键部位是指实体协同道具的抓握点或接触点，进一步举例说明就是：假设当前进行的目标模拟培训课件为“担架协同求援任务”（即通过至少两个求援用户利用担架完成对伤者的转移），此时目标模拟培训课件中包含某一虚拟灾害场景（即虚拟煤矿模拟场景，如塌方）、至少三个虚拟角色（包括至少两个虚拟求援角色和一个伤员角色）和一个协同培训虚拟体（即虚拟担架），同样的，在现实培训环境内则包含至少两个用户（即两个救援用户和一个伤员用户，当然，在现实培训环境内一个伤员用户可由实体协同道具替代，例如：假人）和至少一个实体协同道具（即实体担架）；因此在该示例中的实体协同道具（即实体担架）的抓握点或接触点则为实体担架四个手柄；
具体的，所述确定实体协同道具的至少一个关键部位，包括：
采集现实培训环境内实体协同道具的图像；
基于现实培训环境内实体协同道具的图像提取预存于中心服务器中的实体协同道具标准图像；
将现实培训环境内实体协同道具的图像与实体协同道具标准图像进行比对，提取实体协同道具标准图像中的至少一个标记区域；
将至少一个所述标记区域作为实体协同道具的至少一个关键部位；
需要说明的是：实体协同道具标准图像存在至少一幅，其与每个实体协同道具一一对应，并预存于中心服务器中，每个实体协同道具标准图像均有至少一个标记区域，每个标记区域人为标记确定；并且由于不同的实体协同道具的形状、作用等不同，因此不同的实体协同道具的关键部位也不同；
获取每个所述关键部位的反射信号，根据反射信号测算得出实际高度数据和实际距离数据；
需要说明的是：实际距离数据可通过位于用户脚部的测距传感器采集实体协同道具关键部位反射信号得到，或通过现实培训环境四周的探测传感器采集计算得到（即将位于侧面探测传感器与用户之间的距离以及位于侧面探测传感器与实体协同道具关键部位之间的距离进行差值计算得到）；同样的，实际高度数据可通过现实培训环境四周的探测传感器采集计算得到（即将位于顶端探测传感器与实体协同道具关键部位之间的高度以及位于顶端探测传感器与地面之间的高度进行差值计算得到）；
数据分析及协同处理模块240，用于基于实际位置关系数据并通过协同辅助设备对协同培训虚拟体与虚拟用户角色进行调整，以及基于动作姿态数据对协同培训虚拟体进行同步演示操控，并使协同培训虚拟体产生同步移动，以实现多用户的虚实协同；
具体的，对协同培训虚拟体与虚拟用户角色进行调整，包括：
实时提取实际位置关系数据中的实际高度数据和实际距离数据，以及实时获取虚拟煤矿模拟场景中每一虚拟用户角色与协同培训虚拟体的虚拟位置关系数据；所述虚拟位置关系数据包括仿真高度数据和仿真距离数据；
将实际高度数据和实际距离数据按预设比例关系进行转化；
需要说明的是：所述预设比例关系预存于中心服务器中，所述预设比例关系是指实际高度数据和实际距离数据与仿真高度数据和仿真距离数据的比例换算关系，其可人为事先制定；
将转化后的实际高度数据和实际距离数据，分别与仿真高度数据和仿真距离数据进行差值计算，得到第一高度差值和第一距离差值；
判断所述第一高度差值或第一距离差值是否属于预设差值阈值范围，若不属于，则基于第一高度差值或第一距离差值对协同培训虚拟体与虚拟用户角色进行调整；若属于，则说明协同培训虚拟体与虚拟用户角色为准确的位置关系，无需调整；
还需要说明的是：所述预设差值阈值包括预设高度差值阈值范围和预设距离差值阈值范围，其分别用于第一高度差值或第一距离差值的比较过程中；还需要说明的是：基于第一高度差值或第一距离差值对协同培训虚拟体与虚拟用户角色进行调整可为基于第一高度差值或第一距离差值对协同培训虚拟体进行调整，使其满足协同培训虚拟体与虚拟用户角色准确的位置关系，或可为基于第一高度差值或第一距离差值对虚拟用户角色进行调整，使其满足协同培训虚拟体与虚拟用户角色准确的位置关系。
实施例2
请参阅图4所示，基于上述实施例1，为避免增加或减少用户时，出现数据卡顿或丢失，导致多用户协同场景不一致，本实施例针对上述实施例1进行进一步设计改进，本实施例公开提供了基于VR技术的多用户虚实协同装置，所述装置还包括：
数据获取模块310，用于当T时刻出现新的用户通过便携VR设备接入或退出目标现实培训环境时，获取T时刻下每个便携VR设备中的场景帧，将T时刻下每个便携VR设备中的场景帧标记为第一场景帧，T为大于零的正整数集；
需要说明的是：T的单位均为秒，时刻T非真实世界下的时间，进一步说明就是，时刻T为目标模拟培训课件（即为虚拟煤矿模拟场景）中的时间；每个便携VR设备中的场景帧具体为虚拟煤矿模拟场景的场景帧；
提取标记模块320，用于提取缓存于协同辅助设备中T-1时刻下的场景帧，将缓存于协同辅助设备中T-1时刻下的场景帧标记为第二场景帧；
需要说明的是：所述协同辅助设备用于对每一时刻下反馈至每个便携VR设备中的目标模拟培训课件（即虚拟煤矿模拟场景）的场景帧进行缓存；同时按照一定时间规则对缓存的场景帧进行删除，例如每当缓存累计时长达到3分钟时，对前2分钟缓存的场景帧进行删除；
数据判断模块330，用于提取第一场景帧的时间戳，以及提取第二场景帧的时间戳，判断第一场景帧的时间戳与第二场景帧的时间戳的差值是否等于预设标准差值，若不等于，则基于协同辅助设备进行分析处理，以生成同一场景帧；若等于，则说明不存在数据卡顿或丢失，无需进行处理；
具体的，基于协同辅助设备进行分析处理，包括：
获取T+1时刻在协同辅助设备中副本虚拟煤矿模拟场景的场景帧；
将T+1时刻在协同辅助设备中副本虚拟煤矿模拟场景的场景帧作为同一场景帧；
需要说明的是：所述副本虚拟煤矿模拟场景为虚拟煤矿模拟场景的复制副本，且预存于所述协同辅助设备中，当所述目标模拟培训课件（即虚拟煤矿模拟场景）反馈至每个便携VR设备进行显示的同时，在所述协同辅助设备中的副本虚拟煤矿模拟场景也在同步播放，因此将T+1时刻在协同辅助设备中副本虚拟煤矿模拟场景的场景帧作为同一场景帧，并将该同一场景帧分发至各对应便携VR设备中，则能够避免增加或减少用户时，出现数据卡顿或丢失，导致多用户协同场景不一致；
同步分发模块340，用于将同一场景帧分发至各对应便携VR设备中，以实现在新用户接入或退出时的多用户虚实协同。
实施例3
请参阅图1所示，本实施例公开提供了一种基于VR技术的多用户虚实协同方法，所述方法基于VR模拟培训系统实现，所述VR模拟培训系统内包括多个现实培训环境和中心服务器，每个所述现实培训环境内包括若干便携VR设备、至少一个监控设备和协同辅助设备，所述方法包括：
步骤1：当用户均佩戴好便携VR设备并处于目标现实培训环境时，调取中心服务器内的目标模拟培训课件，并反馈至每个便携VR设备；所述目标现实培训环境内还包括至少一个实体协同道具，所述目标模拟培训课件为虚拟煤矿模拟场景，所述虚拟煤矿模拟场景中包含协同培训虚拟体和M个虚拟用户角色，M个所述虚拟用户角色与每个用户一一对应，至少一个所述实体协同道具与协同培训虚拟体相对应，M为大于零的正整数集；
需要说明的是：每个现实培训环境处于一个培训室中，每个所述现实培训环境的四周均安装有至少一个探测传感器，所述探测传感器、中心服务器、若干便携VR设备、至少一个监控设备和协同辅助设备之间通过无线和/或有线方式通信连接；所述探测传感器包括但不限于距离传感器、光学传感器和摄像头等，所述便携VR设备包括但不限于头戴式VR眼镜、动作捕捉传感器、感应手套和测距传感器；其中，所述头戴式VR眼镜基于显示模块接收并显示目标现实培训环境，所述头戴式VR眼镜还基于通信模块接收或发出用户之间的交互数据；所述动作捕捉传感器设置于用户重要关节上（所述重要关节包括但不限于膝、肩、踝、肘和髋等），所述动作捕捉传感器包括但不限于光学式动作捕捉传感器、惯性式动作捕捉传感器和姿势传感器等等，或具体为上述传感器中的一种，所述感应手套用于追踪用户手部的运动和姿势，所述测距传感器具体为激光测距传感器或超声波测距传感器中的一种；
应当了解的是：模拟培训课件包括至少一个，所述模拟培训课件为通过人为利用软件构建生成的三维模型课件，并预存于中心服务器中；在该三维模型课件中至少包含虚拟的煤矿场景（即虚拟煤矿模拟场景）、虚拟的协同对象（即协同培训虚拟体）以及基于每个用户的人体1比1制作得到的虚拟的用户角色（即M个虚拟用户角色），其中虚拟煤矿模拟场景还包含虚拟场景音源；
还应当了解的是：多个所述现实培训环境是指基于虚拟煤矿模拟场景或基于现实煤矿环境进行简化布置的培训场景，其中包括至少一个实体协同道具；所述实体协同道具包括但不限于救援担架、救生绳索、抢险器械、消防装置和障碍物等实体道具中的一种或多种，所述实体协同道具可由碳纤维、泡沫、塑料、皮革或木头等构成；
还需要说明的是：所述目标现实培训环境的确定过程为，当若干用户进入多个现实培训环境中的一个现实培训环境时，则将该现实培训环境作为目标现实培训环境；
在一个实施步骤中，调取中心服务器内的目标模拟培训课件，包括：
通过监控设备采集目标现实培训环境的图像；
对所述目标现实培训环境的图像进行中值滤波，以及提取预存于中心服务器中的N幅培训场景图，N为大于零的正整数集；
将N幅培训场景图与目标现实培训环境的图像进行相似度计算，获取相似度最大的培训场景图；
需要说明的是：所述相似度计算采用的算法具体为余弦相似度、欧式距离或皮尔逊相关系数中的一种；
基于培训场景图与模拟培训课件的预设关系，将相似度最大的培训场景图相绑定的模拟培训课件作为目标模拟培训课件；
还需要说明的是：培训场景图与模拟培训课件的关系预存于中心服务器中，所述培训场景图与模拟培训课件是指每个培训场景图均对应有且只有一个模拟培训课件，进一步说就是，每个培训场景图与一个模拟培训课件相绑定；
应当了解的是：所述VR模拟培训系统还包括服务控制端，所述服务控制端分别与中心服务器、若干便携VR设备、至少一个监控设备和协同辅助设备之间通过无线和/或有线方式通信连接，所述服务控制端用于对上述设备进行管理；
在另一个实施步骤中，调取中心服务器内的目标模拟培训课件，还包括：培训管理者通过服务控制端输入关键字调取中心服务器中的目标模拟培训课件；
步骤2：当每个用户通过便携VR设备并基于目标模拟培训课件处于虚拟煤矿模拟场景时，采集虚拟场景音源和用户语音数据，基于虚拟场景音源和用户语音数据进行解析生成目标交互数据，并发送至目标便携VR设备；
应当了解的是：由于用户便携VR设备需贴身佩戴，并且需满足用户沉浸式的体验感，当用户进入虚拟煤矿模拟场景时，虚拟煤矿模拟场景中的虚拟场景音源的声音通常非常大，并且由于用户较多的原因易导致用户语音数据产生交错，在此背景下进行多用户的协同时，常常无法准确地截取语音交互数据以及无法确定交互对象，导致多用户协同效率较低，进而容易使得培训效果不佳；为解决上述问题，本步骤对此进行如下设计，详情见下文；
具体的，基于虚拟场景音源和用户语音数据进行解析生成目标交互数据，包括：
对每一用户语音数据进行识别，判断是否存在预定敏感开头词，若存在，则基于对应用户语音数据进行分析，以生成目标交互数据；若不存在，则将每一用户语音数据与虚拟场景音源进行合成，生成场景合成音频；
具体的，基于对应用户语音数据进行分析，包括：
提取存在预定敏感开头词的对应用户语音数据，以及提取对应用户语音数据中的敏感结束词；
将敏感开头词至敏感结束词之间的用户语音数据作为初始语音交互数据；
应当注意的是：所述初始语音交互数据中包含敏感开头词和敏感结束词；所述敏感开头词和敏感结束词可人为设定，对此本发明不做过多约束，例如：敏感开头词可为“001开始”，所述敏感结束词可为“001结束”；或者敏感开头词可为“1号call”，所述敏感结束词可为“1号over”；
分别将所述初始语音交互数据与虚拟场景音源进行时域转化，得到第一时域图和第二时域图；
分别计算第一时域图和第二时域图振幅平均值，得到第一振幅平均值和第二振幅平均值，将第一振幅平均值和第二振幅平均值的差值作为振幅平均差；
需要说明的是：第一时域图或第二时域图振幅平均值的计算公式为：；式中：/>表示第一振幅平均值或第二振幅平均值，/>表示第一时域图或第二时域图在第i时刻的振幅值，/>表示第一时域图或第二时域图的总时间；
设置振幅平均阈值，将所述振幅平均差与振幅平均阈值进行比较，若振幅平均差大于振幅平均阈值，则直接将初始语音交互数据与虚拟场景音源进行合成，得到目标交互数据；若振幅平均差小于等于振幅平均阈值，则对初始语音交互数据进行音频增益，将音频增益后的初始语音交互数据与虚拟场景音源进行合成，得到目标交互数据；
将场景合成音频发送至每一便携VR设备；或将目标交互数据发送至目标便携VR设备；
应当了解的是：当将场景合成音频发送至每一便携VR设备时，说明此时不存在协同任务（或可理解为每个用户在执行单机任务），而将目标交互数据发送至每一便携VR设备说明此时存在协同任务，而本发明主要针对存在协同任务，因此对于不存在协同任务时的场景合成音频的发送，非本发明处理对象，因此对此本发明不做过多赘述；
具体的，将目标交互数据发送至目标便携VR设备，包括：
提取目标交互数据中的敏感开头词或敏感结束词；
基于敏感开头词与便携VR设备之间的预设关系或基于敏感结束词与便携VR设备之间的预设关系，确定对应便携VR设备，将对应便携VR设备作为目标便携VR设备；
需要说明的是：敏感开头词与便携VR设备之间的预设关系或敏感结束词与便携VR设备之间的预设关系预存于中心服务器中，所述敏感开头词与便携VR设备之间的预设关系，以及敏感结束词与便携VR设备之间的预设关系是指每一个敏感开头词或敏感结束词有且对应有一个便携VR设备，进一步说明就是：每一个敏感开头词或敏感结束词与一个便携VR设备相关联绑定；应当了解的是：敏感开头词与便携VR设备之间的预设关系或敏感结束词与便携VR设备之间的预设关系可人为设定、绑定或解绑；
将目标交互数据发送至目标便携VR设备。
步骤3：当每个用户根据目标交互数据对协同培训虚拟体进行操控时，实时采集在目标现实培训环境中每个用户的动作姿态数据，以及获取每个用户与实体协同道具之间的实际位置关系数据；
具体的，实际位置关系数据包括实际高度数据和实际距离数据；
应当了解的是：每个用户的所述动作姿态数据通过便携VR设备中的动作捕捉传感器和感应手套以及基于至少一个监控设备采集和/或分析得到；每个用户与实体协同道具之间的实际位置关系数据通过测距传感器采集得到；
具体的，所述实际高度数据和实际距离数据的获取过程如下：
确定实体协同道具的至少一个关键部位；
需要说明的是：所述关键部位是指实体协同道具的抓握点或接触点，进一步举例说明就是：假设当前进行的目标模拟培训课件为“担架协同求援任务”（即通过至少两个求援用户利用担架完成对伤者的转移），此时目标模拟培训课件中包含某一虚拟灾害场景（即虚拟煤矿模拟场景，如塌方）、至少三个虚拟角色（包括至少两个虚拟求援角色和一个伤员角色）和一个协同培训虚拟体（即虚拟担架），同样的，在现实培训环境内则包含至少两个用户（即两个救援用户和一个伤员用户，当然，在现实培训环境内一个伤员用户可由实体协同道具替代，例如：假人）和至少一个实体协同道具（即实体担架）；因此在该事例中的实体协同道具（即实体担架）的抓握点或接触点则为实体担架四个手柄；
具体的，所述确定实体协同道具的至少一个关键部位，包括：
采集现实培训环境内实体协同道具的图像；
基于现实培训环境内实体协同道具的图像提取预存于中心服务器中的实体协同道具标准图像；
将现实培训环境内实体协同道具的图像与实体协同道具标准图像进行比对，提取实体协同道具标准图像中的至少一个标记区域；
将至少一个所述标记区域作为实体协同道具的至少一个关键部位；
需要说明的是：实体协同道具标准图像存在至少一幅，其与每个实体协同道具一一对应，并预存于中心服务器中，每个实体协同道具标准图像均有至少一个标记区域，每个标记区域人为标记确定；并且由于不同的实体协同道具的形状、作用等不同，因此不同的实体协同道具的关键部位也不同；
获取每个所述关键部位的反射信号，根据反射信号测算得出实际高度数据和实际距离数据；
需要说明的是：实际距离数据可通过位于用户脚步的测距传感器采集实体协同道具关键部位反射信号得到，或通过现实培训环境四周的探测传感器采集计算得到（即将位于侧面探测传感器与用户之间的距离以及位于侧面探测传感器与实体协同道具关键部位之间的距离进行差值计算得到）；同样的，实际高度数据可通过现实培训环境四周的探测传感器采集计算得到（即将位于顶端探测传感器与实体协同道具关键部位之间的高度以及位于顶端探测传感器与地面之间的高度进行差值计算得到）；
步骤4：基于实际位置关系数据并通过协同辅助设备对协同培训虚拟体与虚拟用户角色进行调整，以及基于动作姿态数据对协同培训虚拟体进行同步演示操控，并使协同培训虚拟体产生同步移动，以实现多用户的虚实协同；
具体的，对协同培训虚拟体与虚拟用户角色进行调整，包括：
实时提取实际位置关系数据中的实际高度数据和实际距离数据，以及实时获取虚拟煤矿模拟场景中每一虚拟用户角色与协同培训虚拟体的虚拟位置关系数据；所述虚拟位置关系数据包括仿真高度数据和仿真距离数据；
将实际高度数据和实际距离数据按预设比例关系进行转化；
需要说明的是：所述预设比例关系预存于中心服务器中，所述预设比例关系是指实际高度数据和实际距离数据与仿真高度数据和仿真距离数据比例换算关系，其可人为事先制定；
将转化后的实际高度数据和实际距离数据，分别与仿真高度数据和仿真距离数据进行差值计算，得到第一高度差值和第一距离差值；
判断所述第一高度差值或第一距离差值是否属于预设差值阈值范围，若不属于，则基于第一高度差值或第一距离差值对协同培训虚拟体与虚拟用户角色进行调整；若属于，则说明协同培训虚拟体与虚拟用户角色为准确的位置关系，无需调整；
还需要说明的是：所述预设差值阈值包括预设高度差值阈值范围和预设距离差值阈值范围，其分别用于第一高度差值或第一距离差值的比较过程中；还需要说明的是：基于第一高度差值或第一距离差值对协同培训虚拟体与虚拟用户角色进行调整可为基于第一高度差值或第一距离差值对协同培训虚拟体进行调整，使其满足协同培训虚拟体与虚拟用户角色准确的位置关系，或可为基于第一高度差值或第一距离差值对虚拟用户角色进行调整，使其满足协同培训虚拟体与虚拟用户角色准确的位置关系。
实施例4
请参阅图2所示，基于上述实施例3，为避免增加或减少用户时，出现数据卡顿或丢失，导致多用户协同场景不一致，本实施例针对上述实施例4进行进一步设计改进，本实施例公开提供了一种基于VR技术的多用户虚实协同方法，所述方法还包括：
步骤5：当T时刻出现新的用户通过便携VR设备接入或退出目标现实培训环境时，获取T时刻下每个便携VR设备中的场景帧，将T时刻下每个便携VR设备中的场景帧标记为第一场景帧，T为大于零的正整数集；
需要说明的是：T的单位均为秒，时刻T非真实世界下的时间，进一步说明就是，时刻T为目标模拟培训课件（即为虚拟煤矿模拟场景）中的时间；每个便携VR设备中的场景帧具体为虚拟煤矿模拟场景的场景帧；
步骤6：提取缓存于协同辅助设备中T-1时刻下的场景帧，将缓存于协同辅助设备中T-1时刻下的场景帧标记为第二场景帧；
需要说明的是：所述协同辅助设备用于对每一时刻下反馈至每个便携VR设备中的目标模拟培训课件（即虚拟煤矿模拟场景）的场景帧进行缓存；同时按照一定时间规则对缓存的场景帧进行删除，例如每当缓存累计时长达到3分钟时，对前2分钟缓存的场景帧进行删除；
步骤7：提取第一场景帧的时间戳，以及提取第二场景帧的时间戳，判断第一场景帧的时间戳与第二场景帧的时间戳的差值是否等于预设标准差值，若不等于，则基于协同辅助设备进行分析处理，以生成同一场景帧；若等于，则说明不存在数据卡顿或丢失，无需进行处理；
具体的，基于协同辅助设备进行分析处理，包括：
获取T+1时刻在协同辅助设备中副本虚拟煤矿模拟场景的场景帧；
将T+1时刻在协同辅助设备中副本虚拟煤矿模拟场景的场景帧作为同一场景帧；
需要说明的是：所述副本虚拟煤矿模拟场景为虚拟煤矿模拟场景的复制副本，且与预存于所述协同辅助设备中，当所述目标模拟培训课件（即虚拟煤矿模拟场景）反馈至每个便携VR设备进行显示的同时，在所述协同辅助设备中的副本虚拟煤矿模拟场景也在同步播放，因此将T+1时刻在协同辅助设备中副本虚拟煤矿模拟场景的场景帧作为同一场景帧，并将该同一场景帧分发至各对应便携VR设备中，则能够避免增加或减少用户时，出现数据卡顿或丢失，导致多用户协同场景不一致；
步骤8：将同一场景帧分发至各对应便携VR设备中，以实现在新用户接入或退出时的多用户虚实协同。
实施例5
请参阅图5所示，本实施例公开提供了一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各方法所提供的任一项所述一种基于VR技术的多用户虚实协同方法。
实施例6
本实施例公开提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述各方法所提供的任一项所述一种基于VR技术的多用户虚实协同方法。
上述公式均是去量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式，公式中的预设参数、权重以及阈值选取由本领域的技术人员根据实际情况进行设置。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线网络或无线网络方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如，DVD）或者半导体介质。半导体介质可以是固态硬盘。
本领域普通技术人员可意识到，结合本发明中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其他的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种基于VR技术的多用户虚实协同方法，其特征在于，所述方法基于VR模拟培训系统实现，所述VR模拟培训系统内包括多个现实培训环境和中心服务器，每个所述现实培训环境内包括若干便携VR设备、至少一个监控设备和协同辅助设备，所述方法包括：
当用户均佩戴好便携VR设备并处于目标现实培训环境时，调取中心服务器内的目标模拟培训课件，并反馈至每个便携VR设备；所述目标现实培训环境内还包括至少一个实体协同道具，所述目标模拟培训课件为虚拟煤矿模拟场景，所述虚拟煤矿模拟场景中包含协同培训虚拟体和M个虚拟用户角色，M个所述虚拟用户角色与每个用户一一对应，至少一个所述实体协同道具与协同培训虚拟体相对应，M为大于零的正整数集；
当每个用户通过便携VR设备并基于目标模拟培训课件处于虚拟煤矿模拟场景时，采集虚拟场景音源和用户语音数据，基于虚拟场景音源和用户语音数据进行解析生成目标交互数据，并发送至目标便携VR设备；
当每个用户根据目标交互数据对协同培训虚拟体进行操控时，实时采集在目标现实培训环境中每个用户的动作姿态数据，以及获取每个用户与实体协同道具之间的实际位置关系数据；
基于实际位置关系数据并通过协同辅助设备对协同培训虚拟体与虚拟用户角色进行调整，以及基于动作姿态数据对协同培训虚拟体进行同步演示操控，并使协同培训虚拟体产生同步移动，以实现多用户的虚实协同。
2.根据权利要求1所述的一种基于VR技术的多用户虚实协同方法，其特征在于，调取中心服务器内的目标模拟培训课件，包括：
通过监控设备采集目标现实培训环境的图像；
对所述目标现实培训环境的图像进行中值滤波，以及提取预存于中心服务器中的N幅培训场景图，N为大于零的正整数集；
将N幅培训场景图与目标现实培训环境的图像进行相似度计算，获取相似度最大的培训场景图；
基于培训场景图与模拟培训课件的预设关系，将相似度最大的培训场景图相绑定的模拟培训课件作为目标模拟培训课件。
3.根据权利要求2所述的一种基于VR技术的多用户虚实协同方法，其特征在于，基于虚拟场景音源和用户语音数据进行解析生成目标交互数据，包括：
对每一用户语音数据进行识别，判断是否存在预定敏感开头词，若存在，则基于对应用户语音数据进行分析，以生成目标交互数据；若不存在，则将每一用户语音数据与虚拟场景音源进行合成，生成场景合成音频；
将场景合成音频发送至每一便携VR设备；或将目标交互数据发送至目标便携VR设备。
4.根据权利要求3所述的一种基于VR技术的多用户虚实协同方法，其特征在于，基于对应用户语音数据进行分析，包括：
提取存在预定敏感开头词的对应用户语音数据，以及提取对应用户语音数据中的敏感结束词；
将敏感开头词至敏感结束词之间的用户语音数据作为初始语音交互数据；
分别将所述初始语音交互数据与虚拟场景音源进行时域转化，得到第一时域图和第二时域图；
分别计算第一时域图和第二时域图振幅平均值，得到第一振幅平均值和第二振幅平均值，将第一振幅平均值和第二振幅平均值的差值作为振幅平均差；
设置振幅平均阈值，将所述振幅平均差与振幅平均阈值进行比较，若振幅平均差大于振幅平均阈值，则直接将初始语音交互数据与虚拟场景音源进行合成，得到目标交互数据；若振幅平均差小于等于振幅平均阈值，则对初始语音交互数据进行音频增益，将音频增益后的初始语音交互数据与虚拟场景音源进行合成，得到目标交互数据。
5.根据权利要求4所述的一种基于VR技术的多用户虚实协同方法，其特征在于，将目标交互数据发送至目标便携VR设备，包括：
提取目标交互数据中的敏感开头词或敏感结束词；
基于敏感开头词与便携VR设备之间的预设关系或基于敏感结束词与便携VR设备之间的预设关系，确定对应便携VR设备，将对应便携VR设备作为目标便携VR设备；
将目标交互数据发送至目标便携VR设备。
6.根据权利要求5所述的一种基于VR技术的多用户虚实协同方法，其特征在于，实际位置关系数据包括实际高度数据和实际距离数据；所述实际高度数据和实际距离数据的获取过程如下：
确定实体协同道具的至少一个关键部位；
获取每个所述关键部位的反射信号，根据反射信号测算得出实际高度数据和实际距离数据。
7.根据权利要求6所述的一种基于VR技术的多用户虚实协同方法，其特征在于，所述确定实体协同道具的至少一个关键部位，包括：
采集现实培训环境内实体协同道具的图像；
基于现实培训环境内实体协同道具的图像提取预存于中心服务器中的实体协同道具标准图像；
将现实培训环境内实体协同道具的图像与实体协同道具标准图像进行比对，提取实体协同道具标准图像中的至少一个标记区域；
将至少一个所述标记区域作为实体协同道具的至少一个关键部位。
8.根据权利要求7所述的一种基于VR技术的多用户虚实协同方法，其特征在于，对协同培训虚拟体与虚拟用户角色进行调整，包括：
实时提取实际位置关系数据中的实际高度数据和实际距离数据，以及实时获取虚拟煤矿模拟场景中每一虚拟用户角色与协同培训虚拟体的虚拟位置关系数据；所述虚拟位置关系数据包括仿真高度数据和仿真距离数据；
将实际高度数据和实际距离数据按预设比例关系进行转化；
将转化后的实际高度数据和实际距离数据，分别与仿真高度数据和仿真距离数据进行差值计算，得到第一高度差值和第一距离差值；
判断所述第一高度差值或第一距离差值是否属于预设差值阈值范围，若不属于，则基于第一高度差值或第一距离差值对协同培训虚拟体与虚拟用户角色进行调整；若属于，则说明协同培训虚拟体与虚拟用户角色为准确的位置关系，无需调整。
9.根据权利要求8所述的一种基于VR技术的多用户虚实协同方法，其特征在于，所述方法还包括：
当T时刻出现新的用户通过便携VR设备接入或退出目标现实培训环境时，获取T时刻下每个便携VR设备中的场景帧，将T时刻下每个便携VR设备中的场景帧标记为第一场景帧，T为大于零的正整数集；
提取缓存于协同辅助设备中T-1时刻下的场景帧，将缓存于协同辅助设备中T-1时刻下的场景帧标记为第二场景帧；
提取第一场景帧的时间戳，以及提取第二场景帧的时间戳，判断第一场景帧的时间戳与第二场景帧的时间戳的差值是否等于预设标准差值，若不等于，则基于协同辅助设备进行分析处理，以生成同一场景帧；若等于，则说明不存在数据卡顿或丢失，无需进行处理；
将同一场景帧分发至各对应便携VR设备中，以实现在新用户接入或退出时的多用户虚实协同。
10.根据权利要求9所述的一种基于VR技术的多用户虚实协同方法，其特征在于，基于协同辅助设备进行分析处理，包括：
获取T+1时刻在协同辅助设备中副本虚拟煤矿模拟场景的场景帧；
将T+1时刻在协同辅助设备中副本虚拟煤矿模拟场景的场景帧作为同一场景帧。
11.一种基于VR技术的多用户虚实协同装置，其特征在于，包括：
任务获取显示模块，用于当用户均佩戴好便携VR设备并处于目标现实培训环境时，调取中心服务器内的目标模拟培训课件，并反馈至每个便携VR设备；所述目标现实培训环境内还包括至少一个实体协同道具，所述目标模拟培训课件为虚拟煤矿模拟场景，所述虚拟煤矿模拟场景中包含协同培训虚拟体和M个虚拟用户角色，M个所述虚拟用户角色与每个用户一一对应，至少一个所述实体协同道具与协同培训虚拟体相对应，M为大于零的正整数集；
第一数据采集处理模块，用于当每个用户通过便携VR设备并基于目标模拟培训课件处于虚拟煤矿模拟场景时，采集虚拟场景音源和用户语音数据，基于虚拟场景音源和用户语音数据进行解析生成目标交互数据，并发送至目标便携VR设备；
第二数据采集处理模块，用于当每个用户根据目标交互数据对协同培训虚拟体进行操控时，实时采集在目标现实培训环境中每个用户的动作姿态数据，以及获取每个用户与实体协同道具之间的实际位置关系数据；
数据分析及协同处理模块，用于基于实际位置关系数据并通过协同辅助设备对协同培训虚拟体与虚拟用户角色进行调整，以及基于动作姿态数据对协同培训虚拟体进行同步演示操控，并使协同培训虚拟体产生同步移动，以实现多用户的虚实协同。
12.根据权利要求11所述的一种基于VR技术的多用户虚实协同装置，其特征在于，所述装置还包括：
数据获取模块，用于当T时刻出现新的用户通过便携VR设备接入或退出目标现实培训环境时，获取T时刻下每个便携VR设备中的场景帧，将T时刻下每个便携VR设备中的场景帧标记为第一场景帧，T为大于零的正整数集；
提取标记模块，用于提取缓存于协同辅助设备中T-1时刻下的场景帧，将缓存于协同辅助设备中T-1时刻下的场景帧标记为第二场景帧；
数据判断模块，用于提取第一场景帧的时间戳，以及提取第二场景帧的时间戳，判断第一场景帧的时间戳与第二场景帧的时间戳的差值是否等于预设标准差值，若不等于，则基于协同辅助设备进行分析处理，以生成同一场景帧；若等于，则说明不存在数据卡顿或丢失，无需进行处理；
同步分发模块，用于将同一场景帧分发至各对应便携VR设备中，以实现在新用户接入或退出时的多用户虚实协同。
13.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10任一项所述一种基于VR技术的多用户虚实协同方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至10任一项所述一种基于VR技术的多用户虚实协同方法。
CN202310963370.4A 2023-08-02 2023-08-02 一种基于vr技术的多用户虚实协同方法、装置、电子设备及存储介质 Active CN116661643B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310963370.4A CN116661643B (zh) 2023-08-02 2023-08-02 一种基于vr技术的多用户虚实协同方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310963370.4A CN116661643B (zh) 2023-08-02 2023-08-02 一种基于vr技术的多用户虚实协同方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116661643A true CN116661643A (zh) 2023-08-29
CN116661643B CN116661643B (zh) 2023-10-03

Family

ID=87715784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310963370.4A Active CN116661643B (zh) 2023-08-02 2023-08-02 一种基于vr技术的多用户虚实协同方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116661643B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103941861A (zh) * 2014-04-02 2014-07-23 北京理工大学 一种应用混合现实技术的多人合作训练系统
US20160253995A1 (en) * 2013-11-14 2016-09-01 Huawei Technologies Co., Ltd. Voice recognition method, voice recognition device, and electronic device
CN106648116A (zh) * 2017-01-22 2017-05-10 隋文涛 一种基于动作捕捉的虚拟现实综合系统
WO2019148586A1 (zh) * 2018-02-01 2019-08-08 深圳市鹰硕技术有限公司 多人发言中发言人识别方法以及装置
CN110189567A (zh) * 2019-05-08 2019-08-30 上海飒智智能科技有限公司 一种虚实结合的工业机器人培训系统及培训方法
US20200005541A1 (en) * 2018-01-31 2020-01-02 Unchartedvr Inc. Multi-player vr game system with spectator participation
CN111161725A (zh) * 2019-12-17 2020-05-15 珠海格力电器股份有限公司 一种语音交互方法、装置、计算设备及存储介质
US20210142059A1 (en) * 2019-11-11 2021-05-13 Lg Electronics Inc. Xr device for providing ar mode and vr mode and method for controlling the same
CN113377200A (zh) * 2021-06-22 2021-09-10 平安科技（深圳）有限公司 基于vr技术的交互式培训方法及装置、存储介质
WO2022221902A1 (en) * 2021-04-20 2022-10-27 Quill & Quaver Associates Pty. Ltd. System and method for performance in a virtual reality environment

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160253995A1 (en) * 2013-11-14 2016-09-01 Huawei Technologies Co., Ltd. Voice recognition method, voice recognition device, and electronic device
CN103941861A (zh) * 2014-04-02 2014-07-23 北京理工大学 一种应用混合现实技术的多人合作训练系统
CN106648116A (zh) * 2017-01-22 2017-05-10 隋文涛 一种基于动作捕捉的虚拟现实综合系统
US20200005541A1 (en) * 2018-01-31 2020-01-02 Unchartedvr Inc. Multi-player vr game system with spectator participation
WO2019148586A1 (zh) * 2018-02-01 2019-08-08 深圳市鹰硕技术有限公司 多人发言中发言人识别方法以及装置
CN110189567A (zh) * 2019-05-08 2019-08-30 上海飒智智能科技有限公司 一种虚实结合的工业机器人培训系统及培训方法
US20210142059A1 (en) * 2019-11-11 2021-05-13 Lg Electronics Inc. Xr device for providing ar mode and vr mode and method for controlling the same
CN111161725A (zh) * 2019-12-17 2020-05-15 珠海格力电器股份有限公司 一种语音交互方法、装置、计算设备及存储介质
WO2022221902A1 (en) * 2021-04-20 2022-10-27 Quill & Quaver Associates Pty. Ltd. System and method for performance in a virtual reality environment
CN113377200A (zh) * 2021-06-22 2021-09-10 平安科技（深圳）有限公司 基于vr技术的交互式培训方法及装置、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔡新 等: "基于虚拟现实的协同训练系统研究与实现", 现代教育技术, vol. 20, no. 04, pages 120 - 122 *

Also Published As

Publication number Publication date
CN116661643B (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
US7840031B2 (en) Tracking a range of body movement based on 3D captured image streams of a user
Wang et al. Fall detection based on dual-channel feature integration
Ojetola et al. Data set for fall events and daily activities from inertial sensors
CN110162163B (zh) 一种基于体感和vr技术的虚拟消防演练方法及系统
CN108089510A (zh) 一种施工人员行为智能监管系统及方法
US20190188903A1 (en) Method and apparatus for providing virtual companion to a user
CN107349594A (zh) 一种虚拟舞蹈系统的动作评价方法
CN108127669A (zh) 一种基于动作融合的机器人示教系统及实施方法
CN107930048B (zh) 一种太空体感识别运动分析系统及运动分析方法
WO2019075824A1 (zh) 一种儿童跑步姿态纠正训练系统
CN112198959A (zh) 虚拟现实交互方法、装置及系统
CN109199417A (zh) 一种用于运动康复治疗的增强现实方法及系统
CN106570473A (zh) 基于机器人的聋哑人手语识别交互系统
CN104424650B (zh) 一种光学式人体运动捕捉中手臂信息补偿方法
Xu et al. Attention-based gait recognition and walking direction estimation in wi-fi networks
WO2022188022A1 (zh) 一种基于听觉的感知系统及其使用方法
US9521202B2 (en) Method for matching multiple devices, and device and server system for enabling matching
CN108932060A (zh) 手势立体互动投影技术
Hirsch et al. Hands-free gesture control with a capacitive textile neckband
CN107469315A (zh) 一种搏击训练系统
CN114119857A (zh) 角色化身位置与肢体同步的处理方法、系统及存储介质
CN107930087A (zh) 一种基于物联网的健身仪共享辅助设备
He et al. A New Kinect‐Based Posture Recognition Method in Physical Sports Training Based on Urban Data
CN116661643B (zh) 一种基于vr技术的多用户虚实协同方法、装置、电子设备及存储介质
CN113840588A (zh) 一种触觉感知系统及其使用方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant