CN108108018A - 基于虚拟现实的指挥训练方法、设备及系统 - Google Patents

基于虚拟现实的指挥训练方法、设备及系统 Download PDF

Info

Publication number
CN108108018A
CN108108018A CN201711319239.5A CN201711319239A CN108108018A CN 108108018 A CN108108018 A CN 108108018A CN 201711319239 A CN201711319239 A CN 201711319239A CN 108108018 A CN108108018 A CN 108108018A
Authority
CN
China
Prior art keywords
commander
virtual reality
image
capture apparatus
cammander
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711319239.5A
Other languages
English (en)
Inventor
王铁存
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN201711319239.5A priority Critical patent/CN108108018A/zh
Publication of CN108108018A publication Critical patent/CN108108018A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance
    • G06Q50/2057Career enhancement or continuing education service
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供一种基于虚拟现实的指挥训练方法、设备及系统,该方法包括:指挥者通过佩戴上头戴式虚拟现实设备,可以切身地感受到指挥的环境。指挥者对虚拟场景中的物体发出相应的指挥动作后,头戴式虚拟现实设备获取拍摄设备拍得的指挥动作对应的指挥图像。再根据指挥图像识别出此指挥图像所表示的指挥动作。虚拟场景中的被指挥物体响应于指挥动作后,被指挥物体的运动状态会发生相应改变,头戴式虚拟现实设备生成用于表现被指挥物体运动状态发生改变的至少一张运动图像。指挥者最终可以通过佩戴头戴式虚拟现实设备能够以较高的沉浸感观看到此至少一张运动图像,切身感受到自己发出的指挥动作所产生的指挥效果,从而提高指挥训练效果。

Description

基于虚拟现实的指挥训练方法、设备及系统
技术领域
本发明涉及智能交通技术领域,尤其涉及一种基于虚拟现实的指挥训练方法、设备及系统。
背景技术
随着机动车和非机动车数量的膨胀,导致有限的道路资源日益拥挤,因此,经常会出现交通秩序混乱、堵塞的情况。为了避免交通秩序的混乱,红绿灯指挥系统就显得尤为重要。但当红绿灯指挥系统发生故障或者道路上出现紧急状况时,此时就需要交警发出指挥手势进行交通疏导。
传统的车辆指挥训练方式通常是教练教学或者视频学习,传统的这两种训练方式智能化程度较低,训练者无法切身感受训练环境,从而导致培训者的培训效果不佳。
发明内容
有鉴于此,本发明实施例提供一种基于虚拟现实的指挥训练方法及、设备及系统,用以提高在道路交通场景下的指挥训练效果。
本发明实施例提供一种基于虚拟现实的指挥训练方法,包括:
获取拍得的指挥图像;
根据所述指挥图像确定指挥者对被指挥物体发出的指挥动作;
生成与所述被指挥物体响应于所述指挥动作所产生的指挥效果对应的至少一张运动图像,以使所述指挥者通过观看到指挥效果对应的所述至少一张运动图像完成指挥训练。
可选地,所述生成与所述被指挥物体响应于所述指挥动作所产生的指挥效果对应的至少一张运动图像,包括:
根据所述指挥动作获取被指挥物体以及关联物体的预设运动参数;
根据所述被指挥物体和所述关联物体的预设序号以及所述预设运动参数生成预设时间内的所述至少一张运动图像。
可选地,所述获取拍得的指挥图像,包括:
在所述虚拟现实场景中确定与指挥者朝向对应的位置标识;
根据预先设置的位置标识与拍摄设备之间的对应关系,确定在物理空间中与所述位置标识对应的拍摄设备;
通过控制所述拍摄设备开启,获取拍得的指挥图像。
可选地,在所述生成与所述被指挥物体响应于所述指挥动作所产生的指挥效果对应的至少一张运动图像之后,所述方法还包括:
发送所述至少一张运动图像至显示组件,以使所述显示组件依次显示所述至少一张运动图像。
可选地,所述虚拟现实场景为交通路口,所述被指挥物体包括机动车或非机动车,所述指挥动作包括道路交通指挥手势。
可选地,所述拍摄设备的数目大于或等于所述虚拟现实场景中路口的数目。
可选地,所述拍摄设备在物理空间中所处的方位与虚拟现实场景中各个路口所处的方位相同。
本发明实施例提供一种头戴式虚拟现实设备,包括:存储器,以及与所述存储器连接的处理器;
所述存储器,用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令供所述处理器调用执行;
所述处理器,用于执行所述一条或多条计算机指令以实现上述基于虚拟现实的指挥训练方法中的任意一种方法。
本发明实施例提供一种基于虚拟现实的指挥训练系统,包括:头戴式虚拟现实设备、拍摄设备以及用于执行上述基于虚拟现实的指挥训练方法中的任意一种方法的数据处理设备。
本发明实施例提供的基于虚拟现实的指挥训练方法、设备及系统,指挥者通过佩戴上头戴式虚拟现实设备,可以切身地感受到指挥的环境。指挥者对虚拟场景中的物体发出相应的指挥动作后,头戴式虚拟现实设备获取拍摄设备拍得的指挥动作对应的指挥图像。再根据指挥图像识别出此指挥图像所表示的指挥动作。虚拟场景中的被指挥物体响应于指挥动作后,被指挥物体的运动状态会发生相应改变,头戴式虚拟现实设备生成用于表现被指挥物体运动状态发生改变的至少一张运动图像。指挥者最终可以通过佩戴头戴式虚拟现实设备能够以较高的沉浸感观看到此至少一张运动图像,切身的感受到自己发出的指挥动作所产生的指挥效果,从而提高指挥训练效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于虚拟现实的指挥训练方法实施例一的流程图;
图2为本发明实施例提供的基于虚拟现实的指挥训练方法实施例二的流程图;
图3为本发明实施例提供的基于虚拟现实的指挥训练装置实施例一的结构示意图;
图4为本发明实施例提供的基于虚拟现实的指挥训练装置实施例二的结构示意图。
图5为本发明实施例提供的头戴式虚拟现实设备的结构示意图;
图6为本发明实施例提供的头戴式虚拟现实设备的内部配置结构示意图;
图7为本发明实施例提供的基于虚拟现实的指挥训练系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应当理解,尽管在本发明实施例中可能采用术语第一、第二、第三等来描述XXX,但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例如,在不脱离本发明实施例范围的情况下,第一XXX也可以被称为第二XXX,类似地,第二XXX也可以被称为第一XXX。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
图1为本发明实施例提供的基于虚拟现实的指挥训练方法实施例一的流程图,如图1所示,该方法包括如下步骤:
S101,获取拍得的指挥图像。
S102,根据指挥图像确定指挥者对被指挥物体发出的指挥动作。
指挥者佩戴上头戴式虚拟现实设备,便可以观看到设备内预先设置的虚拟现实场景。可选地,可以采用3D建模的方式进行虚拟现实场景的搭建,也可以直接从场景素材库中选择与想要建立的虚拟现实场景相关的素材,再进行虚拟现实场景的搭建。通常情况下,虚拟现实场景内包括的物体通常都是具有一定的运动状态的。因此,还会对虚拟现实场景中的物体设置相应的序号以及运动状态,运动状态可以包括运动方向、运动速度以及运动时间等等。可选地,搭建的虚拟现实场景可以为交通路口场景。在此场景下,被指挥物体可以为机动车或者非机动车。
以交通路口场景为例,指挥者可以对虚拟现实场景中的物体发出相应的指挥动作。在物理空间中可以预先设置一定数量的拍摄设备,这些拍摄设备可以定时拍摄指挥者。根据日常经验可知,指挥者在发出指挥动作时,指挥者脸部面向的方向和指挥动作所在的方向是相同的。因此,头戴式虚拟现实设备可以通过识别拍摄到的图像中是否包含指挥者的脸部正面图像来确定此图像是否可以用于指挥训练。将拍摄到的多张图像中包含指挥者脸部正面图像的图像确定为指挥图像的过程,也即是获取到指挥图像的过程。进而,头戴式虚拟现实设备可以通过对指挥图像进行识别从而确定指挥图像中包含的指挥动作。可选地,可以利用神经网络算法或者局部特征分析算法来实现图像的识别。
可选地,预先设置的拍摄设备的数量可以与交通路口场景中存在的路口数量相一致。举例来说,当交通路口场景为十字路口时,则可以预先设置4个拍摄设备。并且针对虚拟交通场景中多个路口的朝向,在物理空间中都设置有一个对应的拍摄设备,也就是说每个朝向的路口都对应设置有一个在物理空间中具有相同朝向的拍摄设备。可选地,拍摄设备可以为照相机或者摄像机。在交通路口场景下,可选地,指挥动作即为道路交通指挥手势,具体可以为左转弯、右转弯、变道、减速慢行、停止等等。
S103,生成与被指挥物体响应于指挥动作所产生的指挥效果对应的至少一张运动图像,以使指挥者通过观看到指挥效果对应的至少一张运动图像完成指挥训练。
在头戴式虚拟现实设备确定出指挥图像中包含的指挥动作之后,虚拟现实场景内物体的运动状态也会发生相应的改变。同样以交通路口场景为例,当指挥者发出的指挥动作为停止动作时,与此指挥动作对应的指挥效果为:指挥动作直接作用的被指挥物体会逐渐停止行驶,而虚拟现实场景中的其他物体也会受到此指挥动作的关联,运动状态也会发生相应变化。为了后续描述的简洁,此处可以将虚拟现实场景中受到指挥动作关联的物体称为关联物体。可选地,头戴式虚拟现实设备可以根据预设的指挥动作与被指挥物体和关联物体的运动状态之间的对应关系生成针对于此指挥动作的至少一张运动图像。头戴式虚拟现实设备可以通过依次显示至少一张运动图像来使指挥者观看到指挥动作所产生的逐渐停止的指挥效果。
需要说明的是,上述方法的执行主体可以为具有数据处理能力的头戴式虚拟现实设备,而在实际应用中,上述方法的执行主体还可以是计算机或者是其他具有数据处理能力的电子设备。当执行主体为计算机或者是其他具有处理能力的电子设备时,头戴式虚拟现实设备仅起到的显示虚拟场景以及指挥动作对应的指挥结果的作用。
本实施例中,指挥者对虚拟场景中的物体发出相应的指挥动作后,头戴式虚拟现实设备获取拍摄设备拍得的指挥动作对应的指挥图像。再根据指挥图像识别出此指挥图像所表示的指挥动作。虚拟场景中的被指挥物体响应于指挥动作后,被指挥物体的运动状态会发生相应改变,头戴式虚拟现实设备生成用于表现被指挥物体运动状态发生改变的至少一张运动图像。指挥者最终可以通过佩戴头戴式虚拟现实设备能够以较高的沉浸感观看到此至少一张运动图像,切身的感受到自己发出的指挥动作所产生的指挥效果,从而提高指挥训练效果。
图2为本发明实施例提供的基于虚拟现实的指挥训练方法实施例二的流程图,如图2所示,该方法包括如下步骤:
S201,获取拍得的指挥图像。
在用户对虚拟现实场景中的物体发出指挥动作后,除了实施例一中涉及到的相关方式,可选地,头戴式虚拟现实设备可以通过以下方式获得拍摄设备拍得的指挥图像。
首先,在虚拟场景中确定与指挥者朝向对应的位置标识。
进而,根据预先设置的位置标识与拍摄设备之间的对应关系,确定在物理空间中与位置标识对应的拍摄设备。
最后,通过控制拍摄设备开启,获取拍得的指挥图像。
具体地,指挥者佩戴上头戴式虚拟现实设备后,视野范围内除了包括虚拟现实场景中物体外,还会显示有一个位置标识。可选地,指挥者视野范围内的位置标识可以为一个方位坐标,此方位坐标可以显示于一个方位罗盘上。也就是说,指挥者在视野范围内可以看到一个方位罗盘,可以将方位罗盘中显示的方位坐标作为位置标识,方位罗盘中显示的方位坐标则表示当前指挥者在虚拟场景中的朝向。
头戴式虚拟现实设备中还会预先设置有位置标识与预先设置的多个拍摄设备之间的对应关系。在确定出指挥者朝向对应的位置标识后,根据此预设的对应关系即可确定出与此位置标识对应的拍摄设备。可选地,仍以上述描述中涉及到的方位罗盘为例,此时位置标识即为方位罗盘中显示的方位坐标,预先设置的位置标识与多个拍摄设备之间的对应关系也即是方位坐标与拍摄设备之间的对应关系。具体地,方位坐标与多个拍摄设备之间的对应关系具体可以表示为:对于处于方位坐标A与方位坐标B之间的全部方位坐标,设置与其对应的拍摄设备为拍摄设备1;对于处于方位坐标C与方位坐标D之间的全部方位坐标,设置与其对应的拍摄设备为拍摄设备2……,以此类推。
在确定出位置标识对应的拍摄设备后,头戴式虚拟现实设备向此拍摄设备发送开启指令。拍摄设备接收到开启指令后开启此拍摄设备,对指挥者进行拍摄,也即是获取到指挥图像。
S202,根据指挥图像确定指挥者对被指挥物体发出的指挥动作。
根据获取的指挥图像,可选地,头戴式虚拟现实设备可以采用深度学习的方式先得到识别模型,再根据识别模型识别图像中指挥动作中包含的指挥动作。
具体地,可以预先获得大量的指挥图像,此指挥图像为学习图像。通过对学习图像的采样以及量化,将学习图像转换为一个矩阵或者向量。再从学习图像对应的矩阵或向量中提取相应的特征数据。进而,将特征数据以及特征数据对应的指挥动作输入到识别模型中,从而得到识别模型对应的各识别参数,此时完成识别模型的初步建立。接着,再获取少量的指挥图像,此指挥图像为测试图像,同样经过采用及量化将测试图像转换为矩阵或者向量,进一步获得测试图像对应的特征数据,使用经过初步训练的识别模型识别测试图像对应的特征数据。根据识别结果进一步调整识别模型的识别参数,从而得到最终的识别模型。
将拍摄设备拍得的指挥图像对应的特征数据输入最终的识别模型中即可识别出拍摄设备拍得的指挥图像中包含的指挥动作。
S203,生成与被指挥物体响应于指挥动作所产生的指挥效果对应的至少一张运动图像,以使指挥者通过观看到指挥效果对应的至少一张运动图像完成指挥训练。
S204,发送至少一张运动图像至显示组件。
正如实施例一中的相关描述,头戴式虚拟现实设备可以根据预设的指挥动作与被指挥物体和关联物体的运动状态之间的对应关系生成针对于此指挥动作的至少一张运动图像。可选地,至少一张运动图像的生成过程如下:
首先,根据指挥动作获取被指挥物体以及关联物体的预设运动参数。
进而,根据被指挥物体和关联物体的预设序号以及预设运动参数生成预设时间内的至少一张运动图像。
具体地,正如实施例一中描述的那样,在最初搭建虚拟现实场景时,已经预先为虚拟现实场景中的各个物体设置相应的预设序号以及预设运动参数,其中,预设序号用于表示物体在虚拟现实场景中的位置,预设序号越小表示该序号对应的物体所处的位置离指挥者越近。通常具有最小预设序号的物体为被指挥物体,其余物体为关联物体。
同样以交通路口场景为例,在该场景下被指挥物体和关联物体可以为机动车,并且机动车按照预设序号顺序行驶在道路上。根据预设的指挥动作与响应于指挥动作的机动车位置之间的对应关系,以及机动车位置与预设序号之间的对应性,可以确定出用于响应指挥动作的被指挥机动车以及关联机动车,并对它们按照序号顺序重新设置运动参数。举例来说,当指挥动作为停止时,将序号最小的机动车的最终运动速度设置为0,并且对其余序号的关联机动车按照序号顺序依次重新设置其最终运动速度。然后,可以根据被指挥机动车以及关联机动车的当前运动速度、最终运动速度以及预设速度改变量来逐渐改变机动车的运动速度。每一次速度的改变都对应于一张运动图像。
在实际应用中,被指挥物体响应指挥动作后会产生相应的指挥效果,但此指挥效果不可能一直有效,指挥效果的维持时间可以为预设时间,这也就导致了生成的至少一张运动图像是显示于预设时间内的运动图像。
在生成至少一张运动图像后,头戴式虚拟现实设备将运动图像发送至配置于头戴式虚拟现实设备内部的显示组件,以使显示组件接收并渲染此至少一张运动图像。最终,指挥者便可在虚拟现实场景中观看到由自己发出的指挥动作而产生的指挥效果。
同样需要说明的是,上述方法的执行主体可以为头戴式虚拟现实设备,而在实际应用中,上述方法的执行主体还可以是计算机或者是其他具有处理能力的电子设备。同时,实施例一中对虚拟现实场景、被指挥物体以及拍摄设备的相关限定同样也适用于本实施例中。
本实施例中,在虚拟现实场景中确定出与指挥者朝向对应的位置标识,再根据位置标识与拍摄设备之间的对应关系确定出需要开启的拍摄设备。进而,头戴式虚拟现实设备响应于指挥者发出指挥动作,通过控制拍摄设备的开启拍摄的方式获取指挥图像,并通过识别模型识别出指挥图像中包含的指挥动作。再根据虚拟现实场景中各物体对应的预设序号以及预设运动参数生成与指挥动作对应的至少一张运动图像。运动图像的生成过程中需要对各个物体的运动参数进行一一设置,使得生成的运动图像更加准确,使指挥者能够看到正确的运动图像,切身的感受到指挥后所产生的效果,从而提高指挥训练效果。
图3为本发明实施例提供的基于虚拟现实的指挥训练装置实施例一的结构示意图,如图3所示,该指挥训练装置包括:获取模块11、确定模块12、生成模块13。
获取模块11,用于获取拍得的指挥图像。
确定模块12,用于根据指挥图像确定指挥者对被指挥物体发出的指挥动作。
生成模块13,用于生成与被指挥物体响应于指挥动作所产生的指挥效果对应的至少一张运动图像,以使指挥者通过观看到指挥效果对应的至少一张运动图像完成指挥训练。
图3所示装置可以执行图1所示实施例的方法,本实施例未详细描述的部分,可参考对图1所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1所示实施例中的描述,在此不再赘述。
图4为本发明实施例提供的基于虚拟现实的指挥训练装置实施例二的结构示意图,如图4所示,在图3所示实施例基础上,该指挥训练装置中的生成模块13具体包括:
数据获取单元131,用于根据指挥动作获取被指挥物体以及关联物体的预设运动参数。
生成单元132,用于根据被指挥物体和关联物体的预设序号以及预设运动参数生成预设时间内的至少一张运动图像。
可选地,该指挥训练装置中的获取模块11具体包括:
第一确定单元111,用于在虚拟现实场景中确定与指挥者朝向对应的位置标识。
第二确定单元112,用于根据预先设置的位置标识与拍摄设备之间的对应关系,确定在物理空间中与位置标识对应的拍摄设备。
图像获取单元113,用于通过控制拍摄设备开启,获取拍得的指挥图像。
可选地,该指挥训练装置还包括:发送模块21。
发送模块21,用于发送至少一张运动图像至显示组件,以使显示组件依次显示至少一张运动图像。
图4所示装置可以执行图2所示实施例的方法,本实施例未详细描述的部分,可参考对图2所示实施例的相关说明。该技术方案的执行过程和技术效果参见图2所示实施例中的描述,在此不再赘述。
以上描述了基于虚拟现实的指挥训练装置的内部功能和结构,在一个可能的设计中,基于虚拟现实的指挥训练装置的结构可实现为一头戴式虚拟现实设备。图5为本发明实施例提供的头戴式虚拟现实设备实施例一的结构示意图,如图5所示,该头戴式虚拟现实设备包括:存储器31,以及与存储器连接的处理器32,存储器31用于存储电子设备执行上述任一实施例中提供的基于虚拟现实的指挥训练方法的程序,处理器32被配置为用于执行存储器31中存储的程序。
程序包括一条或多条计算机指令,其中,一条或多条计算机指令被处理器32执行时能够实现如下步骤:
获取拍得的指挥图像;
根据指挥图像确定指挥者对被指挥物体发出的指挥动作;
生成与被指挥物体响应于指挥动作所产生的指挥效果对应的至少一张运动图像,以使指挥者通过观看到指挥效果对应的至少一张运动图像完成指挥训练。
可选地,处理器32还用于执行前述各方法步骤中的全部或部分步骤。
其中,电子设备的结构中还可以包括通信接口33,用于电子设备与其他设备或通信网络通信。
图6为本发明实施例提供的一种头戴虚拟现实设备的内部配置结构示意图。
显示单元401可以包括显示面板,显示面板设置在头戴显示设备400上面向用户面部的侧表面,可以为一整块面板、或者为分别对应用户左眼和右眼的左面板和右面板。显示面板可以为电致发光(Electroluminescent,简称EL)元件、液晶显示器或具有类似结构的微型显示器、或者视网膜可直接显示或类似的激光扫描式显示器。
虚拟图像光学单元402以放大方式拍摄显示单元401所显示的图像,并允许用户按放大的虚拟图像观察所显示的图像。作为输出到显示单元401上的显示图像,可以是从内容再现设备(蓝光光碟或DVD播放器)或流媒体服务器提供的虚拟场景的图像、或者使用外部相机410拍摄的现实场景的图像。一些实施例中,虚拟图像光学单元402可以包括透镜单元,例如球面透镜、非球面透镜、菲涅尔透镜等。
输入操作单元403包括至少一个用来执行输入操作的操作部件,例如按键、按钮、开关或者其他具有类似功能的部件,通过操作部件接收用户指令,并且向控制单元407输出指令,此控制单元407即为上述实施例中涉及的处理器32。同时可选地,控制单元407可以配置于头戴式虚拟现实设备内部也可为配置于其他设备中,例如手机或者PC机中。
状态信息获取单元404用于获取穿戴头戴显示设备400的用户的状态信息。状态信息获取单元404可以包括各种类型的传感器,用于自身检测状态信息,并可以通过通信单元405从外部设备,例如智能手机、腕表和用户穿戴的其它多功能终端,获取状态信息。状态信息获取单元404可以获取用户的头部的位置信息和/或姿态信息。状态信息获取单元404可以包括陀螺仪传感器、加速度传感器、全球定位系统(Global Positioning System,简称GPS)传感器、地磁传感器、多普勒效应传感器、红外传感器、射频场强度传感器中的一个或者多个。此外,状态信息获取单元404获取穿戴头戴显示设备400的用户的状态信息,例如获取用户的操作状态(如用户是否穿戴头戴显示设备400)、用户的动作状态(诸如静止、行走、跑动和诸如此类的移动状态,手或指尖的姿势、眼睛的开或闭状态、视线方向、瞳孔尺寸)、精神状态(用户是否沉浸在观察所显示的图像以及诸如此类的),甚至生理状态。
通信单元405执行与外部装置的通信处理、调制和解调处理、以及通信信号的编码和解码处理。另外,控制单元407可以从通信单元405向外部装置发送传输数据。通信方式可以是有线或者无线形式,例如移动高清链接(Mobile High-Definition Link,简称MHL)或通用串行总线(Universal Serial Bus,简称USB)、高清多媒体接口(High DefinitionMultimedia Interface,简称HDMI)、无线保真(Wireless Fidelity,简称Wi-Fi)、蓝牙通信或低功耗蓝牙通信,以及IEEE802.11s标准的网状网络等。另外,通信单元105可以是根据宽带码分多址(Wideband Code Division Multiple Access,简称W-CDMA)、长期演进(LongTerm Evolution,简称LTE)和类似标准操作的蜂窝无线收发器。
一些实施例中,头戴显示设备400还可以包括存储单元,存储单元406是配置为具有固态驱动器(Solid State Drives,简称SSD)等的大容量存储设备。一些实施例中,存储单元406可以存储应用程序或各种类型的数据。例如,用户使用头戴显示设备400观看的内容可以存储在存储单元406中。
一些实施例中,头戴显示设备400还可以包括控制单元,控制单元407可以包括计算机处理单元(Central Processing Unit,简称CPU)或者其他具有类似功能的设备。一些实施例中,控制单元407可以用于执行存储单元406存储的应用程序,或者控制单元407还可以用于执行本申请一些实施例公开的方法、功能和操作的电路。
图像处理单元408用于执行信号处理,比如与从控制单元407输出的图像信号相关的图像质量校正,以及将其分辨率转换为根据显示单元401的屏幕的分辨率。然后,显示驱动单元404依次选择显示单元401的每行像素,并逐行依次扫描显示单元401的每行像素,因而提供基于经信号处理的图像信号的像素信号。
一些实施例中,头戴显示设备400还可以包括外部相机。外部相机410可以设置在头戴显示设备400主体前表面,外部相机410可以为一个或者多个。外部相机410可以获取三维信息,并且也可以用作距离传感器。另外,探测来自物体的反射信号的位置灵敏探测器(Position Sensitive Detector,简称PSD)或者其他类型的距离传感器可以与外部相机410一起使用。外部相机410和距离传感器可以用于检测穿戴头戴显示设备400的用户的身体位置、姿态和形状。另外,一定条件下用户可以通过外部相机410直接观看或者预览现实场景。
一些实施例中,头戴显示设备400还可以包括声音处理单元,声音处理单元411可以执行从控制单元407输出的声音信号的声音质量校正或声音放大,以及输入声音信号的信号处理等。然后,声音输入/输出单元412在声音处理后向外部输出声音以及输入来自麦克风的声音。
需要说明的是,图6中粗线框示出的结构或部件可以独立于头戴显示设备400之外,例如可以设置在外部处理系统,例如计算机系统,中与头戴显示设备400配合使用;或者,虚线框示出的结构或部件可以设置在头戴显示设备400内部或者表面上。
图7为本发明实施例提供的基于虚拟现实的指挥训练系统实施例一的结构示意图,如图7所示,该基于虚拟现实的指挥训练系统包括:数据处理设备51、头戴式虚拟现实设备52以及拍摄设备53。
其中,数据处理设备51可用于执行图1-2所示方法中的全部或部分步骤。并且本实施例未详细描述的部分,可参考对图1-2所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-2所示实施例中的描述,在此不再赘述。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件的结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以产品的形式体现出来,该计算机产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于虚拟现实的指挥训练方法,其特征在于,包括:
获取拍得的指挥图像;
根据所述指挥图像确定指挥者对被指挥物体发出的指挥动作;
生成与所述被指挥物体响应于所述指挥动作所产生的指挥效果对应的至少一张运动图像,以使所述指挥者通过观看到指挥效果对应的所述至少一张运动图像完成指挥训练。
2.根据权利要求1所述的方法,其特征在于,所述生成与所述被指挥物体响应于所述指挥动作所产生的指挥效果对应的至少一张运动图像,包括:
根据所述指挥动作获取被指挥物体以及关联物体的预设运动参数;
根据所述被指挥物体和所述关联物体的预设序号以及所述预设运动参数生成预设时间内的所述至少一张运动图像。
3.根据权利要求1所述的方法,其特征在于,所述获取拍得的指挥图像,包括:
在所述虚拟现实场景中确定与指挥者朝向对应的位置标识;
根据预先设置的位置标识与拍摄设备之间的对应关系,确定在物理空间中与所述位置标识对应的拍摄设备;
通过控制所述拍摄设备开启,获取拍得的指挥图像。
4.根据权利要求1所述的方法,其特征在于,在所述生成与所述被指挥物体响应于所述指挥动作所产生的指挥效果对应的至少一张运动图像之后,所述方法还包括:
发送所述至少一张运动图像至显示组件,以使所述显示组件依次显示所述至少一张运动图像。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述虚拟现实场景为交通路口,所述被指挥物体包括机动车或非机动车,所述指挥动作包括道路交通指挥手势。
6.根据权利要求5所述的方法,其特征在于,所述拍摄设备的数目大于或等于所述虚拟现实场景中路口的数目。
7.根据权利要求5所述的方法,其特征在于,所述拍摄设备在物理空间中所处的方位与虚拟现实场景中各个路口所处的方位相同。
8.一种头戴式虚拟现实设备,其特征在于,包括:存储器,以及与所述存储器连接的处理器;
所述存储器,用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令供所述处理器调用执行;
所述处理器,用于执行所述一条或多条计算机指令以实现上述权利要求1-7任一项所述的方法。
9.一种基于虚拟现实的指挥训练系统,其特征在于,所述系统包括:头戴式虚拟现实设备、拍摄设备以及用于执行所述权利要求1至7中任一项方法的数据处理设备。
CN201711319239.5A 2017-12-12 2017-12-12 基于虚拟现实的指挥训练方法、设备及系统 Pending CN108108018A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711319239.5A CN108108018A (zh) 2017-12-12 2017-12-12 基于虚拟现实的指挥训练方法、设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711319239.5A CN108108018A (zh) 2017-12-12 2017-12-12 基于虚拟现实的指挥训练方法、设备及系统

Publications (1)

Publication Number Publication Date
CN108108018A true CN108108018A (zh) 2018-06-01

Family

ID=62215693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711319239.5A Pending CN108108018A (zh) 2017-12-12 2017-12-12 基于虚拟现实的指挥训练方法、设备及系统

Country Status (1)

Country Link
CN (1) CN108108018A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109144256A (zh) * 2018-08-20 2019-01-04 广州市三川田文化科技股份有限公司 一种虚拟现实行为互动方法及装置
CN109545027A (zh) * 2018-12-24 2019-03-29 郑州畅想高科股份有限公司 一种实训台、乘务员仿真实训方法及装置
CN109637250A (zh) * 2019-01-15 2019-04-16 深圳市蓝游网络科技有限公司 基于vr技术的交通警察执勤培训方法
JP2020091366A (ja) * 2018-12-04 2020-06-11 ミライズ株式会社 警備業務研修システム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102354464A (zh) * 2011-06-15 2012-02-15 中国科学院沈阳自动化研究所 一种遥控水下机器人模拟训练器
US20120306734A1 (en) * 2011-05-31 2012-12-06 Microsoft Corporation Gesture Recognition Techniques
WO2014072786A2 (en) * 2012-11-09 2014-05-15 Università Iuav Di Venezia 3d hand-gesture to convey cartesian space arrangement plus all six degrees of freedom: three rotations and three translations along the cartesian axes
CN103824483A (zh) * 2012-11-19 2014-05-28 大连鑫奇辉科技有限公司 一种基于虚拟现实的交警手势训练系统
US20140347263A1 (en) * 2013-05-23 2014-11-27 Fastvdo Llc Motion-Assisted Visual Language For Human Computer Interfaces
CN105320937A (zh) * 2015-09-25 2016-02-10 北京理工大学 基于Kinect的交警手势识别方法
CN106297338A (zh) * 2016-09-14 2017-01-04 深圳市喜悦智慧数据有限公司 一种交通机器人控制系统和方法
CN106951069A (zh) * 2017-02-23 2017-07-14 深圳市金立通信设备有限公司 一种虚拟现实界面的控制方法及虚拟现实设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120306734A1 (en) * 2011-05-31 2012-12-06 Microsoft Corporation Gesture Recognition Techniques
CN102354464A (zh) * 2011-06-15 2012-02-15 中国科学院沈阳自动化研究所 一种遥控水下机器人模拟训练器
WO2014072786A2 (en) * 2012-11-09 2014-05-15 Università Iuav Di Venezia 3d hand-gesture to convey cartesian space arrangement plus all six degrees of freedom: three rotations and three translations along the cartesian axes
CN103824483A (zh) * 2012-11-19 2014-05-28 大连鑫奇辉科技有限公司 一种基于虚拟现实的交警手势训练系统
US20140347263A1 (en) * 2013-05-23 2014-11-27 Fastvdo Llc Motion-Assisted Visual Language For Human Computer Interfaces
CN105320937A (zh) * 2015-09-25 2016-02-10 北京理工大学 基于Kinect的交警手势识别方法
CN106297338A (zh) * 2016-09-14 2017-01-04 深圳市喜悦智慧数据有限公司 一种交通机器人控制系统和方法
CN106951069A (zh) * 2017-02-23 2017-07-14 深圳市金立通信设备有限公司 一种虚拟现实界面的控制方法及虚拟现实设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵思蕊等: "基于3D骨架的交警指挥姿势动作识别仿真", 《计算机仿真》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109144256A (zh) * 2018-08-20 2019-01-04 广州市三川田文化科技股份有限公司 一种虚拟现实行为互动方法及装置
JP2020091366A (ja) * 2018-12-04 2020-06-11 ミライズ株式会社 警備業務研修システム
CN109545027A (zh) * 2018-12-24 2019-03-29 郑州畅想高科股份有限公司 一种实训台、乘务员仿真实训方法及装置
CN109637250A (zh) * 2019-01-15 2019-04-16 深圳市蓝游网络科技有限公司 基于vr技术的交通警察执勤培训方法

Similar Documents

Publication Publication Date Title
CN110168618B (zh) 增强现实控制系统和方法
US10482662B2 (en) Systems and methods for mixed reality transitions
JP6444886B2 (ja) ニアアイ・ディスプレイのディスプレイ更新時間の低減
US11520399B2 (en) Interactive augmented reality experiences using positional tracking
CN108108018A (zh) 基于虚拟现实的指挥训练方法、设备及系统
KR20230098172A (ko) 확장 현실 시스템들을 위한 추천들
CN105573500A (zh) 眼动控制的智能ar眼镜设备
WO2012142202A1 (en) Apparatus, systems and methods for providing motion tracking using a personal viewing device
US10482670B2 (en) Method for reproducing object in 3D scene and virtual reality head-mounted device
EP4172740A1 (en) Augmented reality eyewear with speech bubbles and translation
JP2024503881A (ja) コンテキストアウェアエクステンデッドリアリティシステム
CN108803871A (zh) 头戴显示设备中数据内容的输出方法、装置及头戴显示设备
US20230362573A1 (en) Audio enhanced augmented reality
US20240004197A1 (en) Dynamic sensor selection for visual inertial odometry systems
US20230419615A1 (en) Robotic learning of assembly tasks using augmented reality
US20230256297A1 (en) Virtual evaluation tools for augmented reality exercise experiences
CN107945100A (zh) 虚拟现实场景的展示方法、虚拟现实设备及系统
CN115393962A (zh) 动作识别方法、头戴显示设备和存储介质
CN107844197A (zh) 虚拟现实场景显示方法及设备
JP2019036239A (ja) 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置
US20220137908A1 (en) Head mounted processing apparatus
US20240050831A1 (en) Instructor avatars for augmented reality experiences
US20230078189A1 (en) Adaptive rendering of game to capabilities of device
US20220377491A1 (en) Low latency, low power multi-channel audio processing
US20220362631A1 (en) Virtual tastings and guided tours for augmented reality experiences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180601

RJ01 Rejection of invention patent application after publication