CN112102682A - 基于5g通信的飞行器驾驶培训系统和方法 - Google Patents

基于5g通信的飞行器驾驶培训系统和方法 Download PDF

Info

Publication number
CN112102682A
CN112102682A CN202011238666.2A CN202011238666A CN112102682A CN 112102682 A CN112102682 A CN 112102682A CN 202011238666 A CN202011238666 A CN 202011238666A CN 112102682 A CN112102682 A CN 112102682A
Authority
CN
China
Prior art keywords
helmet
human body
user
flight
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011238666.2A
Other languages
English (en)
Other versions
CN112102682B (zh
Inventor
白洪旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC WUHU GENERAL AVIATION INDUSTRY TECHNOLOGY RESEARCH INSTITUTE Co.,Ltd.
Original Assignee
Nanjing R & D Center Of Cetc Wuhu Diamond Aircraft Manufacturing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing R & D Center Of Cetc Wuhu Diamond Aircraft Manufacturing Co ltd filed Critical Nanjing R & D Center Of Cetc Wuhu Diamond Aircraft Manufacturing Co ltd
Priority to CN202011238666.2A priority Critical patent/CN112102682B/zh
Publication of CN112102682A publication Critical patent/CN112102682A/zh
Application granted granted Critical
Publication of CN112102682B publication Critical patent/CN112102682B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70Services for machine-to-machine communication [M2M] or machine type communication [MTC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供了一种基于5G通信的飞行器驾驶培训系统和方法。该系统,包括:VR摄像头,用于对进行飞行器驾驶培训的第一用户进行拍摄,并获取第一用户的人体图像深度信息,从而确定人体骨骼动作数据;第一操作器,用于接收第一用户发出的飞行操作指令;以及第一VR头盔,内置有显示给第一用户的虚拟飞行场景和虚拟操作界面,飞行操作指令与虚拟操作界面相匹配,第一VR头盔将预设的人体三维模型库中的人体模型与人体骨骼动作数据进行匹配,以生成人体动作姿态模拟图像,第一VR头盔基于来自第一操作器的飞行操作指令,调整虚拟飞行场景,并将调整后的虚拟飞行场景和人体动作姿态模拟图像通过5G通信网络实时发出。

Description

基于5G通信的飞行器驾驶培训系统和方法
技术领域
本申请涉及5G通信和虚拟现实(VR)技术领域,具体涉及一种基于5G通信的飞行器驾驶培训系统和方法。
背景技术
目前,人类的航空航天事业快速发展,由于其具备便捷性和速度快的特点,越来越多的人会选择飞机等飞行设备作为交通工具。而且,已经有相当一部分人群具有学习驾驶飞机的需求,尤其在发达国家,已有很多私人飞机在运营或使用中。
此外,随着美国太空探索技术公司(SpaceX)的猎鹰系列可回收火箭和龙飞船的研发成功,在可预见的未来,将会有越来越多的人被送往太空。那么,对于宇宙飞船等航天飞行器的驾驶技术,也将成为部分人群的学习和培训热点。
然而,飞行技术的学习有着学习周期较长,学习地点限制性较强,学习成本较高等特点,这使得诸如飞机和航空器等飞行器的驾驶培训学习需求得不到充分的满足。而且,专业人员(诸如飞行员、航天员)的培训学习也会受到限制。尤其是,由于飞行器驾驶培训需要配备非常专业的设备,因此能够提供培训条件的场所非常有限,而所有具有这方面培训需求的人员,都不得不克服地域限制去具备培训条件的场所进行现场培训学习。这严重阻碍了飞行器驾驶培训的开展,也制约着我国航空航天产业、通航产业的高质量发展。
5G通信技术是最新一代蜂窝移动通信技术,具有高速率、超低时延的传输特性,可满足获得较好VR体验的传输速率要求。然而,5G技术的应用仍需要落地,亟需相关的应用来起到助推作用。
发明内容
为了解决现有技术中出现的上述问题,本申请提供了一种基于5G通信的飞行器驾驶培训系统和方法。
根据本申请的一个方面,提供了一种基于5G通信的飞行器驾驶培训系统,包括:
VR摄像头,用于对进行飞行器驾驶培训的第一用户进行拍摄,并获取所述第一用户的人体图像深度信息,从而确定人体骨骼动作数据;
第一操作器,用于接收所述第一用户发出的飞行操作指令;以及
第一VR头盔,与所述VR摄像头和所述第一操作器通信连接,且内置有显示给所述第一用户的虚拟飞行场景和虚拟操作界面,所述飞行操作指令与所述虚拟操作界面相匹配,所述第一VR头盔将预设的人体三维模型库中的人体模型与所述人体骨骼动作数据进行匹配,以生成人体动作姿态模拟图像,所述第一VR头盔基于来自所述第一操作器的飞行操作指令,调整所述虚拟飞行场景,并将调整后的虚拟飞行场景和所述人体动作姿态模拟图像通过5G通信网络实时发出。
根据一个实施方式,该系统还包括:
第二VR头盔,与所述第一VR头盔彼此远程设置并通过5G通信网络进行通信,以实时接收所述虚拟飞行场景和所述人体动作姿态模拟图像,所述第二VR头盔内置有第二麦克风,以收集第二用户的语音信息,并将所述语音信息通过5G通信网络发送至所述第一VR头盔。
根据一个实施方式,该系统还包括:
第二操作器,用于接收所述第二用户发出的飞行操作指导指令,并将所述飞行操作指导指令传输至所述第二VR头盔,所述第二VR头盔通过5G通信网络将所述飞行操作指导指令发送至所述第一VR头盔。
根据一个实施方式,所述第一VR头盔内置有第一麦克风,以收集所述第一用户的语音信息,并将所述第一用户的语音信息通过5G通信网络发送至所述第二VR头盔。
根据一个实施方式,所述第一VR头盔还将所述飞行操作指令通过5G通信网络发出。
根据本申请的另一方面,提供了一种基于5G通信的飞行器驾驶培训方法,包括:
利用VR摄像头对进行飞行器驾驶培训的第一用户进行拍摄,并获取所述第一用户的人体图像深度信息,从而确定人体骨骼动作数据;
利用第一操作器接收所述第一用户发出的飞行操作指令;以及
利用内置有显示给所述第一用户的虚拟飞行场景和虚拟操作界面的第一VR头盔,将预设的人体三维模型库中的人体模型与所述人体骨骼动作数据进行匹配,以生成人体动作姿态模拟图像,并基于所述飞行操作指令,调整所述虚拟飞行场景,并将调整后的虚拟飞行场景和所述人体动作姿态模拟图像通过5G通信网络实时发出,其中所述飞行操作指令与所述虚拟操作界面相匹配。
根据一个实施方式,该方法还包括:
利用第二VR头盔,通过5G通信网络从所述第一VR头盔实时接收所述虚拟飞行场景和所述人体动作姿态模拟图像;以及
利用所述第二VR头盔中内置的第二麦克风,收集第二用户的语音信息,并将所述语音信息通过5G通信网络发送至所述第一VR头盔。
根据一个实施方式,该方法还包括:
利用所述第二VR头盔,接收所述第二用户发出的飞行操作指导指令,并通过5G通信网络将所述飞行操作指导指令发送至所述第一VR头盔。
根据一个实施方式,该方法还包括:
利用所述第一VR头盔中内置的第一麦克风,收集所述第一用户的语音信息,并将所述第一用户的语音信息通过5G通信网络发送至所述第二VR头盔。
根据一个实施方式,该方法还包括:
利用所述第一VR头盔,将所述飞行操作指令通过5G通信网络发出。
由此,借助5G通信技术和虚拟现实技术,可以使需要进行飞行器驾驶培训的学员在本地进行操作,而在培训过程中学员端的数字3D模型和高度仿真的虚拟现实环境数据可通过5G通信网络实时传输至远程的教练端,使教练能够进行评估和反馈指导,从而提高了飞行器驾驶培训的便捷性,降低了学习成本和地域限制,实现了有效的远程专业指导。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据本申请一个实施方式基于5G通信的飞行器驾驶培训系统的示意图。
图2示出了利用VR摄像头拍摄到的反馈光斑所包围空间的截图。
图3示出了人体骨骼动作示意图截图。
图4示出了匹配好的三维模型示意图截图。
图5示出了根据本申请另一实施方式基于5G通信的飞行器驾驶培训系统的示意图。
图6示出了座舱的虚拟环境示意图。
图7示出了根据本申请一个实施方式基于5G通信的飞行器驾驶培训方法的流程图。
图8示出了根据本申请另一实施方式基于5G通信的飞行器驾驶培训方法的流程图。
图9示出了根据本申请另一实施方式基于5G通信的飞行器驾驶培训方法的流程图。
图10示出了根据本申请另一实施方式基于5G通信的飞行器驾驶培训方法的流程图。
图11示出了根据本申请另一实施方式基于5G通信的飞行器驾驶培训方法的流程图。
具体实施方式
为了更好地理解本申请的技术方案及优点,下面结合附图和具体实施例对本申请的内容做进一步详细说明。但此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。此外,以下所描述的本申请的各实施方式中所涉及到的技术特征除彼此构成冲突的情况外均可以组合使用,从而构成本申请范围内的其他实施方式。
下文中描述的内容提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开内容,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本申请。此外,本申请可以在不同例子中重复参考数字和/或参考字母,这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施方式和/或设置之间的关系。
虚拟现实(Virtual Reality,简写为VR)技术是一种可以创建和体验虚拟世界的计算机仿真系统,它利用计算机生成一种模拟环境,使用户沉浸到该环境中。复杂的数字3D模型与高度仿真的虚拟现实环境的数据量庞大,一般意义上的VR体验至少需要5.2Gbps的带宽需求,传统的光纤宽带网络以及传统4G网络的传输速率无法满足传输画面的清晰度及流畅度。
5G通信技术是最新一代蜂窝移动通信技术,具有高速率、超低时延的传输特性,可满足获得较好VR体验的传输速率要求。本申请通过将VR技术与5G通信技术相互融合,从而提出了一种新颖的基于5G通信的飞行器驾驶培训系统和方法。
图1示出了根据本申请一个实施方式基于5G通信的飞行器驾驶培训系统的示意图。如图1所示,该系统100可包括VR摄像头110、操作器120、VR头盔130。当进行飞行器驾驶培训时,用户210佩戴VR头盔130,VR头盔130 内置有虚拟飞行场景和虚拟操作界面,在用户210戴上VR头盔130后,可以看到VR头盔中显示的虚拟飞行场景和虚拟操作界面,还可看到用户自身的模拟三维模型。该虚拟飞行场景模拟的是飞行员在实际飞行中所看到的场景,其是受飞行姿态等因素而动态变化的。该虚拟操作界面模拟的是实际飞行器的操作界面,用户210可通过操作器120针对该虚拟操作界面输入相应的飞行操作指令。
VR摄像头110架设于用户210附近,可对用户210进行拍摄,以获取用户210的人体图像深度信息。由于与普通摄像机不同,VR摄像机(通过诸如CMOS感光芯片)拍摄的图像中具有图像深度信息,因此VR摄像头110可基于所拍摄的人体图像的深度信息,确定人体骨骼动作数据,即获取人体骨架和运动轨迹数据。随后,VR摄像头110可将得到的人体骨骼动作数据传输至VR头盔130。
VR头盔130分别与VR摄像头110和操作器120通信连接,以进行彼此间的数据交互。VR头盔130中还预设有人体三维模型库,在该模型库中预设有人体模型。利用参数关键帧动画技术,VR头盔130可将从VR摄像头110接收到的人体骨骼动作数据与人体三维模型库中预设的人体模型进行匹配,从而能够生成人体动作姿态模拟图像。
用户210在训练过程中可根据看到的虚拟飞行场景和/或训练目的,通过操作器120输入飞行操作指令。该飞行操作指令由操作器120传输至VR头盔130。VR头盔130基于该飞行操作指令,调整虚拟飞行场景,并将调整后的虚拟飞行场景和所生成的人体动作姿态模拟图像通过5G通信网络实时发出。例如,VR头盔130可通过与其距离最近的5G基站310向外传输数据。根据一个实施例,VR头盔130可以对虚拟飞行场景和人体动作姿态模拟图像进行融合处理,以便教练端使用。或者,可以在VR头盔130附近设置有用于对虚拟飞行场景和人体动作姿态模拟图像进行融合处理的主机(图中未示出),该主机可与VR头盔130无线连接,以彼此传输数据。
由此,借助虚拟现实技术和5G通信技术,可以使需要进行飞行器驾驶培训的学员在本地进行操作,而在培训过程中在学员端生成的数字3D模型和高度仿真的虚拟现实环境数据可通过5G通信网络实时传输至远程的教练端,使教练能够进行评估和反馈指导,从而提高了飞行器驾驶培训的便捷性,降低了学习成本和地域限制,实现了有效的远程专业指导,并且简单易行。
以下将对利用VR摄像头对用户进行拍摄和呈现的原理步骤进行阐述。
第一步,VR摄像头上的灯发出照射光线。
第二步,照射光线在用户的身体表面形成可随身体移动而流动的反馈光斑。
第三步,VR摄像头拍摄到由反馈光斑所包围的空间中的三维体(即,用户的身体)。图2示出了利用VR摄像头拍摄到的反馈光斑所包围空间的截图。
同步会包含人体骨骼动作图,该人体骨骼动作图是根据拍到的反馈光斑包围空间图像由计算机生成的,目的是为了精益简化数据,利于后处理。这可以理解为关键的人体关节位置设成一个点,点与点之间进行连线。
第四步,连续的拍摄也就捕捉到了动态的人体动作信息。
第五步,VR摄像头拍摄到的光斑包围空间图像及其生成的人体骨骼动作图即时传输到VR头盔上。图3示出了人体骨骼动作示意图截图。
第六步,VR头盔根据光斑包围空间图像匹配合适的三维模型库中的模型,根据人体骨骼动作图计算人体动作数据并赋值于匹配好的三维模型,即实现了用户的虚拟人物形式的动态仿真。图4示出了匹配好的三维模型示意图截图。
根据一个实施例,操作器120可以是操作手柄,点按控制的操作是操作手柄和VR头盔间的信息传递过程。由于引入了VR摄像头,因此能够捕获用户210的三维运动信息,从而在虚拟环境中建立起模拟三维人物。对于模拟三维人物的手势:对应飞行操作需要的动作形式模拟三维人物人预设有操纵手柄的空间坐标与三维模拟人物的坐标对应匹配,且手柄的点按、旋转等操作可以控制三维模拟人物的手部动作。这类似于游戏手柄控制游戏中人物的移动。手部动作需要单独引入手柄控制的原因是,一方面,手部点按、旋转动作的动作幅度较小,且属于精确度控制要求较高的动作,VR摄像头捕获精度约为3-4cm,所以难以灵敏识别并还原;另一方面,手柄的握持感相当于物理触觉的反馈,可提升整个操作体验的真实性。
用户210(即,学员)的真实飞行操作可包括以下动作形式和操作键:
指按——按钮;
指旋——滚轮;
前推、后拉、左移、右移——自然移动(按钮);
踩踏——自然移动;
刹车键。
图5示出了根据本申请另一实施方式基于5G通信的飞行器驾驶培训系统的示意图。如图5所示,除了VR摄像头110、操作器120、VR头盔130之外,该系统100还可包括VR头盔140。为了简要起见,以下将仅描述图5所示的实施方式与图1的不同之处,并将略去其相同之处的详细描述。
VR摄像头110、操作器120、VR头盔130均位于学员端,而VR头盔140位于教练端,其与学员端的VR头盔130彼此远程设置并通过5G通信网络进行通信,从而VR头盔140能够实时地从VR头盔130接收虚拟飞行场景和人体动作姿态模拟图像。VR头盔140可内置有第二麦克风,以收集用户220(如,教练)的语音信息,并将该语音信息通过5G通信网络发送至VR头盔130。VR头盔130和140之间可通过各自距离最近的5G基站310和320以及5G核心网络330实现实时数据交互。
如此,对学员进行培训指导的教练可在系统的教练端(与学员端彼此远程设置)通过另一个VR头盔看到与学员相同的虚拟飞行场景,同时还可以看到学员的动作姿态模拟图像,从而就如同身临其境地在学员身边观察学员在培训中的表现一样,以给予适当的指导。此外,教练可通过向学员发送语音信息,传递其指令或指导意见,以便学员学习和提高,从而能够达到更好的培训效果。
再如图5所示,除了VR摄像头110、操作器120、VR头盔130和140之外,该系统100还可包括操作器150。与VR头盔140相同,操作器150也位于教练端,教练端的用户220可通过操作器150输入飞行操作指导指令。该飞行操作指导指令由操作器150传输至VR头盔140,再由VR头盔140通过5G通信网络发送至VR头盔130,以指导学员端的用户210如何操作。
在操作器150上可以预先设置好一些按键或按钮,以便教练输入指令,以指导学员进行飞行驾驶操作。例如,教练可通过操作器150在虚拟飞行场景中做标记,以提醒学员注意观察该区域等等。由此,可增加系统学员端和教练端的交互手段,以提高培训效果。
根据本申请一个实施方式,VR头盔130也可内置有麦克风,以收集学员端的用户210的语音信息,并将该语音信息通过5G通信网络发送至教练端的VR头盔140。由此,也可以将学员的语音发送至教练端,从而实现双向的语音沟通。
根据本申请一个实施方式,VR头盔130还将学员端的飞行操作指令通过5G通信网络发出,即发送给教练端的VR头盔140。由此,在教练端可通过VR头盔140明确地知晓学员端进行了什么样的飞行操作,从而使得教练可以更加有针对性地进行指导。
根据一个实施例,用户220所看到的场景与用户210相同,都是沉浸式的虚拟三维座舱空间,其眼位点位于副驾驶,用户210的眼位点在主驾驶。可以理解,用户210和220均带着VR头盔,眼里看到的是同一个世界、同一个座舱空间,只不过用户210使用了技术手段,让自己的身体得以在虚拟空间中重现,而用户220是隐身的。图6示出了座舱的虚拟环境示意图。
对于以上描述的用户220的眼位点位于副驾驶,其原因在于:
第一,在真实的培训场景中,教练(即,用户220)就是坐在副驾驶的,外面是天空。
第二,虚拟空间是建模实现的封闭式的空间,具有范围界线,若超出座舱空间则会看不见完整的座舱环境。
第三,座舱空间范围内,用户210和220的视线范围都是可以自然移动的。即,和真人在真实的座舱里看舱内外环境是一样的。
根据一个实施例,系统可预制一套标准的飞行动作演示流程,流程播放过程中,教练根据播放内容进行讲解,演示内容可随时暂停,以便学员对不懂得地方进行提问。演示内容进度条可进与退,以便反复研究动作难点。此外,在模拟飞行过程中,也可以随时进行暂停和飞行状态时间空间倒退,以便于对于重点操作和/或难点操作动作反复操练,这对比于传统真机空中飞行训练具有极大的效率优势。
根据一个实施例,用户220(即,教练端)的操作手柄与用户210(即,学员端)的操作手柄具有相同功能,只是教练操作时没有模拟的三维人物同步动作,而只显示界面的反馈变化。并且,正在被控制的控件都会高亮显示。
此外,虽然用户210和220都能进行控制,界面也不会引起操作上的冲突。这是因为,同一时间只允许一个设备开启对控制界面的控制状态。而且,真实的飞行培训中,也采用双操作的系统,学员与教练会事先约定好操纵交接口令。例如,需要交接时,教练想要接管控制则会说:“我来控制”,而学员需回复:“你来控制”以完成控制的交接。
图7示出了根据本申请一个实施方式基于5G通信的飞行器驾驶培训方法的流程图。如图7所示,该方法400可包括步骤S410、S420、S430。在步骤S410中,利用VR摄像头对进行飞行器驾驶培训的第一用户进行拍摄,并获取第一用户的人体图像深度信息,从而确定人体骨骼动作数据。
在步骤S420中,利用第一操作器接收第一用户发出的飞行操作指令。
在步骤S430中,利用内置有显示给第一用户的虚拟飞行场景和虚拟操作界面的第一VR头盔,将预设的人体三维模型库中的人体模型与人体骨骼动作数据进行匹配,以生成人体动作姿态模拟图像,并基于飞行操作指令,调整虚拟飞行场景,并将调整后的虚拟飞行场景和人体动作姿态模拟图像通过5G通信网络实时发出,其中飞行操作指令与虚拟操作界面相匹配。
图8示出了根据本申请另一实施方式基于5G通信的飞行器驾驶培训方法的流程图。如图8所示,除了步骤S410至S430之外,该方法400还可包括步骤S440和S450。为了简要起见,以下将仅描述图8所示的实施方式与图7的不同之处,并将略去其相同之处的详细描述。
在步骤S440中,利用第二VR头盔,通过5G通信网络从第一VR头盔实时接收虚拟飞行场景和人体动作姿态模拟图像。
在步骤S450中,利用第二VR头盔中内置的第二麦克风,收集第二用户的语音信息,并将该语音信息通过5G通信网络发送至第一VR头盔。
图9示出了根据本申请另一实施方式基于5G通信的飞行器驾驶培训方法的流程图。如图9所示,除了步骤S410至S450之外,该方法400还可包括步骤S460。为了简要起见,以下将仅描述图9所示的实施方式与图8的不同之处,并将略去其相同之处的详细描述。
在步骤S460中,利用第二VR头盔,接收第二用户发出的飞行操作指导指令,并通过5G通信网络将该飞行操作指导指令发送至第一VR头盔。
图10示出了根据本申请另一实施方式基于5G通信的飞行器驾驶培训方法的流程图。如图10所示,除了步骤S410至S450之外,该方法400还可包括步骤S470。为了简要起见,以下将仅描述图10所示的实施方式与图8的不同之处,并将略去其相同之处的详细描述。
在步骤S470中,利用第一VR头盔中内置的第一麦克风,收集第一用户的语音信息,并将第一用户的语音信息通过5G通信网络发送至第二VR头盔。
图11示出了根据本申请另一实施方式基于5G通信的飞行器驾驶培训方法的流程图。如图11所示,除了步骤S410至S430之外,该方法400还可包括步骤S480。为了简要起见,以下将仅描述图11所示的实施方式与图7的不同之处,并将略去其相同之处的详细描述。
在步骤S480中,利用第一VR头盔,将飞行操作指令通过5G通信网络发出。
根据本申请一个实施方式,可采用以下使用流程说明表,操作如上所述的基于5G通信的飞行器驾驶培训系统。
使用流程说明表
Figure 938673DEST_PATH_IMAGE001
Figure 117982DEST_PATH_IMAGE002
根据本申请一个实施方式,可通过试验来验证学员通过如上所述的基于5G通信的飞行器驾驶培训系统的知识接受度。在该试验中,通过记录分析与试人员在试验环境下测试的试验项目的主观评价,获得试验结论。
测试人员包括没有飞行经历的研发人员、对飞行感兴趣的飞行爱好者和专业教员(对应身份人数比例为15:15:1)。试验设备包括DA42-NG飞机驾驶舱、LED灯及控制器和头戴式耳机。试验场地为单面镜房。
在试验的准备阶段,需确定试验目标,设计试验过程,并筛选被测试人员并预约(参加测试人员需要提前观看研究方发予的飞行操作教程视频,有疑问的地方会有专人负责讲解解答。意在模拟本专利中的理论学习阶段)。
在试验进行阶段,被测试人员在搭建的模拟远程培训系统中的虚拟操作环境中对各个试验项目进行测试。被试人员佩戴耳机接受教员音频,模拟本专利音频输入教员指令的形式。飞机驾驶舱相应空间处固定LED指示灯,教员讲解某控件,对应控件指示灯亮,模拟本专利虚拟界面高亮显示提示指令的形式。需要测试的试验项目见下附表(本实施方式中以钻石DA42-NG飞机的正常飞行操作程序作为试验测试的项目。)
在本申请中,音频配合显示界面目标指令高亮显示的信息传递模式可以进行有效的信息传递,学员可以准确及时的接收教员的信息传达。配合本申请的暂停/回放功能,可较好的吸收、理解教练教授的飞行知识。在本实施方式中所获得的试验结论为,学员基于远程飞行培训模式下的飞行技术学习具备较好的知识接受度。
试验测试项目表
Figure 856088DEST_PATH_IMAGE003
Figure 437242DEST_PATH_IMAGE004
Figure 975670DEST_PATH_IMAGE005
Figure 48800DEST_PATH_IMAGE006
Figure 799718DEST_PATH_IMAGE007
此外,还可以通过切换观察模式来完成舱外检查部分。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。上述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明仅用于帮助理解本申请的方法及其核心思想。同时,本领域技术人员依据本申请的思想,基于本申请的具体实施方式及应用范围上做出的改变或变形之处,都属于本申请保护的范围。综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于5G通信的飞行器驾驶培训系统,包括:VR摄像头,用于对进行飞行器驾驶培训的第一用户进行拍摄,并获取所述第一用户的人体图像深度信息,从而确定人体骨骼动作数据;第一操作器,用于接收所述第一用户发出的飞行操作指令;以及第一VR头盔,与所述VR摄像头和所述第一操作器通信连接,且内置有显示给所述第一用户的虚拟飞行场景和虚拟操作界面,所述飞行操作指令与所述虚拟操作界面相匹配,所述第一VR头盔将预设的人体三维模型库中的人体模型与所述人体骨骼动作数据进行匹配,以生成人体动作姿态模拟图像,所述第一VR头盔基于来自所述第一操作器的飞行操作指令,调整所述虚拟飞行场景,并将调整后的虚拟飞行场景和所述人体动作姿态模拟图像通过5G通信网络实时发出。
2.如权利要求1所述的系统,还包括:第二VR头盔,与所述第一VR头盔彼此远程设置并通过5G通信网络进行通信,以实时接收所述虚拟飞行场景和所述人体动作姿态模拟图像,所述第二VR头盔内置有第二麦克风,以收集第二用户的语音信息,并将所述语音信息通过5G通信网络发送至所述第一VR头盔。
3.如权利要求2所述的系统,还包括:第二操作器,用于接收所述第二用户发出的飞行操作指导指令,并将所述飞行操作指导指令传输至所述第二VR头盔,所述第二VR头盔通过5G通信网络将所述飞行操作指导指令发送至所述第一VR头盔。
4.如权利要求2所述的系统,其中所述第一VR头盔内置有第一麦克风,以收集所述第一用户的语音信息,并将所述第一用户的语音信息通过5G通信网络发送至所述第二VR头盔。
5.如权利要求1所述的系统,其中所述第一VR头盔还将所述飞行操作指令通过5G通信网络发出。
6.一种基于5G通信的飞行器驾驶培训方法,包括:利用VR摄像头对进行飞行器驾驶培训的第一用户进行拍摄,并获取所述第一用户的人体图像深度信息,从而确定人体骨骼动作数据;利用第一操作器接收所述第一用户发出的飞行操作指令;以及利用内置有显示给所述第一用户的虚拟飞行场景和虚拟操作界面的第一VR头盔,将预设的人体三维模型库中的人体模型与所述人体骨骼动作数据进行匹配,以生成人体动作姿态模拟图像,并基于所述飞行操作指令,调整所述虚拟飞行场景,并将调整后的虚拟飞行场景和所述人体动作姿态模拟图像通过5G通信网络实时发出,其中所述飞行操作指令与所述虚拟操作界面相匹配。
7.如权利要求6所述的方法,还包括:利用第二VR头盔,通过5G通信网络从所述第一VR头盔实时接收所述虚拟飞行场景和所述人体动作姿态模拟图像;以及利用所述第二VR头盔中内置的第二麦克风,收集第二用户的语音信息,并将所述语音信息通过5G通信网络发送至所述第一VR头盔。
8.如权利要求7所述的方法,还包括:利用所述第二VR头盔,接收所述第二用户发出的飞行操作指导指令,并通过5G通信网络将所述飞行操作指导指令发送至所述第一VR头盔。
9.如权利要求7所述的方法,还包括:利用所述第一VR头盔中内置的第一麦克风,收集所述第一用户的语音信息,并将所述第一用户的语音信息通过5G通信网络发送至所述第二VR头盔。
10.如权利要求6所述的方法,还包括:利用所述第一VR头盔,将所述飞行操作指令通过5G通信网络发出。
CN202011238666.2A 2020-11-09 2020-11-09 基于5g通信的飞行器驾驶培训系统和方法 Active CN112102682B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011238666.2A CN112102682B (zh) 2020-11-09 2020-11-09 基于5g通信的飞行器驾驶培训系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011238666.2A CN112102682B (zh) 2020-11-09 2020-11-09 基于5g通信的飞行器驾驶培训系统和方法

Publications (2)

Publication Number Publication Date
CN112102682A true CN112102682A (zh) 2020-12-18
CN112102682B CN112102682B (zh) 2021-05-18

Family

ID=73785241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011238666.2A Active CN112102682B (zh) 2020-11-09 2020-11-09 基于5g通信的飞行器驾驶培训系统和方法

Country Status (1)

Country Link
CN (1) CN112102682B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700695A (zh) * 2020-12-29 2021-04-23 中国航空工业集团公司西安飞机设计研究所 一种便携式飞行程序训练设备
CN112908084A (zh) * 2021-02-04 2021-06-04 三一汽车起重机械有限公司 作业机械的模拟训练系统、方法、装置和电子设备
CN112987705A (zh) * 2021-03-02 2021-06-18 北京航空航天大学 一种基于5g传输的飞机自动滑跑驶离技术的验证系统
CN114360308A (zh) * 2021-11-26 2022-04-15 江西中船航海仪器有限公司 一种基于5g技术的模拟训练系统
CN115826763A (zh) * 2023-01-09 2023-03-21 南京宇天智云仿真技术有限公司 一种基于虚拟现实的特种作战仿真模拟系统及方法
CN115996357A (zh) * 2023-03-23 2023-04-21 南昌龙旗智能科技有限公司 虚拟位置处理方法及虚拟设备
WO2023160356A1 (zh) * 2022-02-25 2023-08-31 凝动医疗技术服务(上海)有限公司 一种增强虚拟现实系统用户体验的方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1815409A (zh) * 2005-01-31 2006-08-09 佳能株式会社 系统、图像处理装置及信息处理方法
CN2874672Y (zh) * 2006-03-06 2007-02-28 成都运达创新科技有限公司 模拟驾驶器音频仿真系统
US20170025031A1 (en) * 2015-03-13 2017-01-26 Airbus Defence and Space GmbH Method and apparatus for testing a device for use in an aircraft
CN106530897A (zh) * 2016-12-28 2017-03-22 中国航空工业集团公司西安飞机设计研究所 一种飞行模拟训练装置
US20170278306A1 (en) * 2016-03-25 2017-09-28 Sony Computer Entertainment Inc. Virtual Reality (VR) Cadence Profile Adjustments for Navigating VR Users in VR Environments
CN206584580U (zh) * 2017-02-23 2017-10-24 武汉山骁科技有限公司 沉浸式虚拟现实实景驾驶指导系统
CN107340869A (zh) * 2017-07-07 2017-11-10 四川云图瑞科技有限公司 基于虚幻4引擎技术的虚拟现实交互系统
CN109118874A (zh) * 2018-08-31 2019-01-01 苏州竹原信息科技有限公司 一种基于虚拟现实的飞行器驾驶培训系统及方法
CN109697917A (zh) * 2017-10-23 2019-04-30 海口未来技术研究院 飞行模拟器的参数确定方法和装置
CN110750153A (zh) * 2019-09-11 2020-02-04 杭州博信智联科技有限公司 一种无人驾驶车辆的动态虚拟化装置
CN110969905A (zh) * 2019-11-29 2020-04-07 塔普翊海(上海)智能科技有限公司 混合现实的远程教学互动、教具互动系统及其互动方法
CN111195433A (zh) * 2018-11-19 2020-05-26 波音公司 训练器和测试环境中具有虚拟化的虚拟现实
CN111527523A (zh) * 2018-02-02 2020-08-11 三星电子株式会社 用于共享虚拟现实环境的装置和方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1815409A (zh) * 2005-01-31 2006-08-09 佳能株式会社 系统、图像处理装置及信息处理方法
CN2874672Y (zh) * 2006-03-06 2007-02-28 成都运达创新科技有限公司 模拟驾驶器音频仿真系统
US20170025031A1 (en) * 2015-03-13 2017-01-26 Airbus Defence and Space GmbH Method and apparatus for testing a device for use in an aircraft
US20170278306A1 (en) * 2016-03-25 2017-09-28 Sony Computer Entertainment Inc. Virtual Reality (VR) Cadence Profile Adjustments for Navigating VR Users in VR Environments
CN106530897A (zh) * 2016-12-28 2017-03-22 中国航空工业集团公司西安飞机设计研究所 一种飞行模拟训练装置
CN206584580U (zh) * 2017-02-23 2017-10-24 武汉山骁科技有限公司 沉浸式虚拟现实实景驾驶指导系统
CN107340869A (zh) * 2017-07-07 2017-11-10 四川云图瑞科技有限公司 基于虚幻4引擎技术的虚拟现实交互系统
CN109697917A (zh) * 2017-10-23 2019-04-30 海口未来技术研究院 飞行模拟器的参数确定方法和装置
CN111527523A (zh) * 2018-02-02 2020-08-11 三星电子株式会社 用于共享虚拟现实环境的装置和方法
CN109118874A (zh) * 2018-08-31 2019-01-01 苏州竹原信息科技有限公司 一种基于虚拟现实的飞行器驾驶培训系统及方法
CN111195433A (zh) * 2018-11-19 2020-05-26 波音公司 训练器和测试环境中具有虚拟化的虚拟现实
CN110750153A (zh) * 2019-09-11 2020-02-04 杭州博信智联科技有限公司 一种无人驾驶车辆的动态虚拟化装置
CN110969905A (zh) * 2019-11-29 2020-04-07 塔普翊海(上海)智能科技有限公司 混合现实的远程教学互动、教具互动系统及其互动方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
戴济顺: "基于动作捕捉和手势交互的驾驶模拟仿真系统研发", 《CNKI中国知网-重庆大学硕士论文》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700695A (zh) * 2020-12-29 2021-04-23 中国航空工业集团公司西安飞机设计研究所 一种便携式飞行程序训练设备
CN112908084A (zh) * 2021-02-04 2021-06-04 三一汽车起重机械有限公司 作业机械的模拟训练系统、方法、装置和电子设备
WO2022166264A1 (zh) * 2021-02-04 2022-08-11 三一汽车起重机械有限公司 作业机械的模拟训练系统、方法、装置和电子设备
CN112987705A (zh) * 2021-03-02 2021-06-18 北京航空航天大学 一种基于5g传输的飞机自动滑跑驶离技术的验证系统
CN112987705B (zh) * 2021-03-02 2022-06-28 北京航空航天大学 一种基于5g传输的飞机自动滑跑驶离技术的验证系统
CN114360308A (zh) * 2021-11-26 2022-04-15 江西中船航海仪器有限公司 一种基于5g技术的模拟训练系统
WO2023160356A1 (zh) * 2022-02-25 2023-08-31 凝动医疗技术服务(上海)有限公司 一种增强虚拟现实系统用户体验的方法及系统
CN115826763A (zh) * 2023-01-09 2023-03-21 南京宇天智云仿真技术有限公司 一种基于虚拟现实的特种作战仿真模拟系统及方法
CN115996357A (zh) * 2023-03-23 2023-04-21 南昌龙旗智能科技有限公司 虚拟位置处理方法及虚拟设备
CN115996357B (zh) * 2023-03-23 2023-10-31 南昌龙旗智能科技有限公司 虚拟位置处理方法及虚拟设备

Also Published As

Publication number Publication date
CN112102682B (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN112102682A (zh) 基于5g通信的飞行器驾驶培训系统和方法
CN106875764B (zh) 基于网络的虚拟现实外语学习系统及控制方法
US10529248B2 (en) Aircraft pilot training system, method and apparatus for theory, practice and evaluation
CN110069139B (zh) Vr技术实现旅游教学实践的体验系统
Liang RETRACTED ARTICLE: Scene art design based on human-computer interaction and multimedia information system: an interactive perspective
US20030227453A1 (en) Method, system and computer program product for automatically creating an animated 3-D scenario from human position and path data
CN111009158B (zh) 一种面向野外实践教学的虚拟学习环境多通道融合展示方法
CN110688005A (zh) 混合现实的教学环境、教师、教具互动系统及互动方法
CN106710362A (zh) 使用虚拟现实设备进行的飞行训练方法
CN106601060A (zh) 消防火场体验虚拟实境系统
CN110444066B (zh) 基于全息教师及环幕互动的电气设备绝缘试验培训系统
CN109828666B (zh) 基于有形用户界面的混合现实交互系统及方法
CN112331001A (zh) 一种基于虚拟现实技术的教学系统
CN113053198A (zh) 一种航天器模拟发射系统
Latif et al. Talking realities: Audio guides in virtual reality visualizations
KR19990054791A (ko) 무선조종 모형 항공기 시뮬레이션 시스템
CN203733342U (zh) 一套适用于飞行模拟器的指挥监控装置
CN115379278B (zh) 基于扩展现实(xr)技术沉浸式微课的录制方法及系统
KR101831364B1 (ko) 운동량 연동 비행 시뮬레이터를 이용한 비행훈련장치
CN111369861A (zh) 一种基于虚拟现实技术的模拟战斗机驾驶系统及方法
Hrad et al. NEWTON-Vision and Reality of Future Education
Rong Research on intelligent campus construction based on virtual reality technology
CN113299141A (zh) 一种航空空乘模拟培训系统及培训方法
CN208433026U (zh) 一种智慧教育系统
Shi Design and realization of shooting training system for police force

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210331

Address after: 241000 block B2, Wanjiang Fortune Plaza, Jiujiang District, Wuhu City, Anhui Province

Applicant after: CETC WUHU GENERAL AVIATION INDUSTRY TECHNOLOGY RESEARCH INSTITUTE Co.,Ltd.

Address before: 211102 7th floor, block B4, Jiulonghu enterprise headquarters park, Jiangning District, Nanjing City, Jiangsu Province

Applicant before: Nanjing R & D center of CETC Wuhu diamond Aircraft Manufacturing Co.,Ltd.

GR01 Patent grant
GR01 Patent grant