CN112102682B - 基于5g通信的飞行器驾驶培训系统和方法 - Google Patents

基于5g通信的飞行器驾驶培训系统和方法 Download PDF

Info

Publication number
CN112102682B
CN112102682B CN202011238666.2A CN202011238666A CN112102682B CN 112102682 B CN112102682 B CN 112102682B CN 202011238666 A CN202011238666 A CN 202011238666A CN 112102682 B CN112102682 B CN 112102682B
Authority
CN
China
Prior art keywords
helmet
human body
user
flight
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011238666.2A
Other languages
English (en)
Other versions
CN112102682A (zh
Inventor
白洪旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC WUHU GENERAL AVIATION INDUSTRY TECHNOLOGY RESEARCH INSTITUTE Co.,Ltd.
Original Assignee
Cetc Wuhu General Aviation Industry Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cetc Wuhu General Aviation Industry Technology Research Institute Co ltd filed Critical Cetc Wuhu General Aviation Industry Technology Research Institute Co ltd
Priority to CN202011238666.2A priority Critical patent/CN112102682B/zh
Publication of CN112102682A publication Critical patent/CN112102682A/zh
Application granted granted Critical
Publication of CN112102682B publication Critical patent/CN112102682B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70Services for machine-to-machine communication [M2M] or machine type communication [MTC]

Abstract

本申请提供了一种基于5G通信的飞行器驾驶培训系统和方法。该系统,包括:VR摄像头,用于对进行飞行器驾驶培训的第一用户进行拍摄,并获取第一用户的人体图像深度信息,从而确定人体骨骼动作数据;第一操作器,用于接收第一用户发出的飞行操作指令;以及第一VR头盔,内置有显示给第一用户的虚拟飞行场景和虚拟操作界面,飞行操作指令与虚拟操作界面相匹配,第一VR头盔将预设的人体三维模型库中的人体模型与人体骨骼动作数据进行匹配,以生成人体动作姿态模拟图像,第一VR头盔基于来自第一操作器的飞行操作指令,调整虚拟飞行场景,并将调整后的虚拟飞行场景和人体动作姿态模拟图像通过5G通信网络实时发出。

Description

基于5G通信的飞行器驾驶培训系统和方法
技术领域
本申请涉及5G通信和虚拟现实(VR)技术领域,具体涉及一种基于5G通信的飞行器驾驶培训系统和方法。
背景技术
目前,人类的航空航天事业快速发展,由于其具备便捷性和速度快的特点,越来越多的人会选择飞机等飞行设备作为交通工具。而且,已经有相当一部分人群具有学习驾驶飞机的需求,尤其在发达国家,已有很多私人飞机在运营或使用中。
此外,随着美国太空探索技术公司(SpaceX)的猎鹰系列可回收火箭和龙飞船的研发成功,在可预见的未来,将会有越来越多的人被送往太空。那么,对于宇宙飞船等航天飞行器的驾驶技术,也将成为部分人群的学习和培训热点。
然而,飞行技术的学习有着学习周期较长,学习地点限制性较强,学习成本较高等特点,这使得诸如飞机和航空器等飞行器的驾驶培训学习需求得不到充分的满足。而且,专业人员(诸如飞行员、航天员)的培训学习也会受到限制。尤其是,由于飞行器驾驶培训需要配备非常专业的设备,因此能够提供培训条件的场所非常有限,而所有具有这方面培训需求的人员,都不得不克服地域限制去具备培训条件的场所进行现场培训学习。这严重阻碍了飞行器驾驶培训的开展,也制约着我国航空航天产业、通航产业的高质量发展。
5G通信技术是最新一代蜂窝移动通信技术,具有高速率、超低时延的传输特性,可满足获得较好VR体验的传输速率要求。然而,5G技术的应用仍需要落地,亟需相关的应用来起到助推作用。
发明内容
为了解决现有技术中出现的上述问题,本申请提供了一种基于5G通信的飞行器驾驶培训系统和方法。
根据本申请的一个方面,提供了一种基于5G通信的飞行器驾驶培训系统,包括:
VR摄像头,用于对进行飞行器驾驶培训的第一用户进行拍摄,并获取所述第一用户的人体图像深度信息,从而确定人体骨骼动作数据;
第一操作器,用于接收所述第一用户发出的飞行操作指令;以及
第一VR头盔,与所述VR摄像头和所述第一操作器通信连接,且内置有显示给所述第一用户的虚拟飞行场景和虚拟操作界面,所述飞行操作指令与所述虚拟操作界面相匹配,所述第一VR头盔将预设的人体三维模型库中的人体模型与所述人体骨骼动作数据进行匹配,以生成人体动作姿态模拟图像,所述第一VR头盔基于来自所述第一操作器的飞行操作指令,调整所述虚拟飞行场景,并将调整后的虚拟飞行场景和所述人体动作姿态模拟图像通过5G通信网络实时发出。
根据一个实施方式,该系统还包括:
第二VR头盔,与所述第一VR头盔彼此远程设置并通过5G通信网络进行通信,以实时接收所述虚拟飞行场景和所述人体动作姿态模拟图像,所述第二VR头盔内置有第二麦克风,以收集第二用户的语音信息,并将所述语音信息通过5G通信网络发送至所述第一VR头盔。
根据一个实施方式,该系统还包括:
第二操作器,用于接收所述第二用户发出的飞行操作指导指令,并将所述飞行操作指导指令传输至所述第二VR头盔,所述第二VR头盔通过5G通信网络将所述飞行操作指导指令发送至所述第一VR头盔。
根据一个实施方式,所述第一VR头盔内置有第一麦克风,以收集所述第一用户的语音信息,并将所述第一用户的语音信息通过5G通信网络发送至所述第二VR头盔。
根据一个实施方式,所述第一VR头盔还将所述飞行操作指令通过5G通信网络发出。
根据本申请的另一方面,提供了一种基于5G通信的飞行器驾驶培训方法,包括:
利用VR摄像头对进行飞行器驾驶培训的第一用户进行拍摄,并获取所述第一用户的人体图像深度信息,从而确定人体骨骼动作数据;
利用第一操作器接收所述第一用户发出的飞行操作指令;以及
利用内置有显示给所述第一用户的虚拟飞行场景和虚拟操作界面的第一VR头盔,将预设的人体三维模型库中的人体模型与所述人体骨骼动作数据进行匹配,以生成人体动作姿态模拟图像,并基于所述飞行操作指令,调整所述虚拟飞行场景,并将调整后的虚拟飞行场景和所述人体动作姿态模拟图像通过5G通信网络实时发出,其中所述飞行操作指令与所述虚拟操作界面相匹配。
根据一个实施方式,该方法还包括:
利用第二VR头盔,通过5G通信网络从所述第一VR头盔实时接收所述虚拟飞行场景和所述人体动作姿态模拟图像;以及
利用所述第二VR头盔中内置的第二麦克风,收集第二用户的语音信息,并将所述语音信息通过5G通信网络发送至所述第一VR头盔。
根据一个实施方式,该方法还包括:
利用所述第二VR头盔,接收所述第二用户发出的飞行操作指导指令,并通过5G通信网络将所述飞行操作指导指令发送至所述第一VR头盔。
根据一个实施方式,该方法还包括:
利用所述第一VR头盔中内置的第一麦克风,收集所述第一用户的语音信息,并将所述第一用户的语音信息通过5G通信网络发送至所述第二VR头盔。
根据一个实施方式,该方法还包括:
利用所述第一VR头盔,将所述飞行操作指令通过5G通信网络发出。
由此,借助5G通信技术和虚拟现实技术,可以使需要进行飞行器驾驶培训的学员在本地进行操作,而在培训过程中学员端的数字3D模型和高度仿真的虚拟现实环境数据可通过5G通信网络实时传输至远程的教练端,使教练能够进行评估和反馈指导,从而提高了飞行器驾驶培训的便捷性,降低了学习成本和地域限制,实现了有效的远程专业指导。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据本申请一个实施方式基于5G通信的飞行器驾驶培训系统的示意图。
图2示出了利用VR摄像头拍摄到的反馈光斑所包围空间的截图。
图3示出了人体骨骼动作示意图截图。
图4示出了匹配好的三维模型示意图截图。
图5示出了根据本申请另一实施方式基于5G通信的飞行器驾驶培训系统的示意图。
图6示出了座舱的虚拟环境示意图。
图7示出了根据本申请一个实施方式基于5G通信的飞行器驾驶培训方法的流程图。
图8示出了根据本申请另一实施方式基于5G通信的飞行器驾驶培训方法的流程图。
图9示出了根据本申请另一实施方式基于5G通信的飞行器驾驶培训方法的流程图。
图10示出了根据本申请另一实施方式基于5G通信的飞行器驾驶培训方法的流程图。
图11示出了根据本申请另一实施方式基于5G通信的飞行器驾驶培训方法的流程图。
具体实施方式
为了更好地理解本申请的技术方案及优点,下面结合附图和具体实施例对本申请的内容做进一步详细说明。但此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。此外,以下所描述的本申请的各实施方式中所涉及到的技术特征除彼此构成冲突的情况外均可以组合使用,从而构成本申请范围内的其他实施方式。
下文中描述的内容提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开内容,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本申请。此外,本申请可以在不同例子中重复参考数字和/或参考字母,这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施方式和/或设置之间的关系。
虚拟现实(Virtual Reality,简写为VR)技术是一种可以创建和体验虚拟世界的计算机仿真系统,它利用计算机生成一种模拟环境,使用户沉浸到该环境中。复杂的数字3D模型与高度仿真的虚拟现实环境的数据量庞大,一般意义上的VR体验至少需要5.2Gbps的带宽需求,传统的光纤宽带网络以及传统4G网络的传输速率无法满足传输画面的清晰度及流畅度。
5G通信技术是最新一代蜂窝移动通信技术,具有高速率、超低时延的传输特性,可满足获得较好VR体验的传输速率要求。本申请通过将VR技术与5G通信技术相互融合,从而提出了一种新颖的基于5G通信的飞行器驾驶培训系统和方法。
图1示出了根据本申请一个实施方式基于5G通信的飞行器驾驶培训系统的示意图。如图1所示,该系统100可包括VR摄像头110、操作器120、VR头盔130。当进行飞行器驾驶培训时,用户210佩戴VR头盔130,VR头盔130 内置有虚拟飞行场景和虚拟操作界面,在用户210戴上VR头盔130后,可以看到VR头盔中显示的虚拟飞行场景和虚拟操作界面,还可看到用户自身的模拟三维模型。该虚拟飞行场景模拟的是飞行员在实际飞行中所看到的场景,其是受飞行姿态等因素而动态变化的。该虚拟操作界面模拟的是实际飞行器的操作界面,用户210可通过操作器120针对该虚拟操作界面输入相应的飞行操作指令。
VR摄像头110架设于用户210附近,可对用户210进行拍摄,以获取用户210的人体图像深度信息。由于与普通摄像机不同,VR摄像机(通过诸如CMOS感光芯片)拍摄的图像中具有图像深度信息,因此VR摄像头110可基于所拍摄的人体图像的深度信息,确定人体骨骼动作数据,即获取人体骨架和运动轨迹数据。随后,VR摄像头110可将得到的人体骨骼动作数据传输至VR头盔130。
VR头盔130分别与VR摄像头110和操作器120通信连接,以进行彼此间的数据交互。VR头盔130中还预设有人体三维模型库,在该模型库中预设有人体模型。利用参数关键帧动画技术,VR头盔130可将从VR摄像头110接收到的人体骨骼动作数据与人体三维模型库中预设的人体模型进行匹配,从而能够生成人体动作姿态模拟图像。
用户210在训练过程中可根据看到的虚拟飞行场景和/或训练目的,通过操作器120输入飞行操作指令。该飞行操作指令由操作器120传输至VR头盔130。VR头盔130基于该飞行操作指令,调整虚拟飞行场景,并将调整后的虚拟飞行场景和所生成的人体动作姿态模拟图像通过5G通信网络实时发出。例如,VR头盔130可通过与其距离最近的5G基站310向外传输数据。根据一个实施例,VR头盔130可以对虚拟飞行场景和人体动作姿态模拟图像进行融合处理,以便教练端使用。或者,可以在VR头盔130附近设置有用于对虚拟飞行场景和人体动作姿态模拟图像进行融合处理的主机(图中未示出),该主机可与VR头盔130无线连接,以彼此传输数据。
由此,借助虚拟现实技术和5G通信技术,可以使需要进行飞行器驾驶培训的学员在本地进行操作,而在培训过程中在学员端生成的数字3D模型和高度仿真的虚拟现实环境数据可通过5G通信网络实时传输至远程的教练端,使教练能够进行评估和反馈指导,从而提高了飞行器驾驶培训的便捷性,降低了学习成本和地域限制,实现了有效的远程专业指导,并且简单易行。
以下将对利用VR摄像头对用户进行拍摄和呈现的原理步骤进行阐述。
第一步,VR摄像头上的灯发出照射光线。
第二步,照射光线在用户的身体表面形成可随身体移动而流动的反馈光斑。
第三步,VR摄像头拍摄到由反馈光斑所包围的空间中的三维体(即,用户的身体)。图2示出了利用VR摄像头拍摄到的反馈光斑所包围空间的截图。
同步会包含人体骨骼动作图,该人体骨骼动作图是根据拍到的反馈光斑包围空间图像由计算机生成的,目的是为了精益简化数据,利于后处理。这可以理解为关键的人体关节位置设成一个点,点与点之间进行连线。
第四步,连续的拍摄也就捕捉到了动态的人体动作信息。
第五步,VR摄像头拍摄到的光斑包围空间图像及其生成的人体骨骼动作图即时传输到VR头盔上。图3示出了人体骨骼动作示意图截图。
第六步,VR头盔根据光斑包围空间图像匹配合适的三维模型库中的模型,根据人体骨骼动作图计算人体动作数据并赋值于匹配好的三维模型,即实现了用户的虚拟人物形式的动态仿真。图4示出了匹配好的三维模型示意图截图。
根据一个实施例,操作器120可以是操作手柄,点按控制的操作是操作手柄和VR头盔间的信息传递过程。由于引入了VR摄像头,因此能够捕获用户210的三维运动信息,从而在虚拟环境中建立起模拟三维人物。对于模拟三维人物的手势:对应飞行操作需要的动作形式模拟三维人物人预设有操纵手柄的空间坐标与三维模拟人物的坐标对应匹配,且手柄的点按、旋转等操作可以控制三维模拟人物的手部动作。这类似于游戏手柄控制游戏中人物的移动。手部动作需要单独引入手柄控制的原因是,一方面,手部点按、旋转动作的动作幅度较小,且属于精确度控制要求较高的动作,VR摄像头捕获精度约为3-4cm,所以难以灵敏识别并还原;另一方面,手柄的握持感相当于物理触觉的反馈,可提升整个操作体验的真实性。
用户210(即,学员)的真实飞行操作可包括以下动作形式和操作键:
指按——按钮;
指旋——滚轮;
前推、后拉、左移、右移——自然移动(按钮);
踩踏——自然移动;
刹车键。
图5示出了根据本申请另一实施方式基于5G通信的飞行器驾驶培训系统的示意图。如图5所示,除了VR摄像头110、操作器120、VR头盔130之外,该系统100还可包括VR头盔140。为了简要起见,以下将仅描述图5所示的实施方式与图1的不同之处,并将略去其相同之处的详细描述。
VR摄像头110、操作器120、VR头盔130均位于学员端,而VR头盔140位于教练端,其与学员端的VR头盔130彼此远程设置并通过5G通信网络进行通信,从而VR头盔140能够实时地从VR头盔130接收虚拟飞行场景和人体动作姿态模拟图像。VR头盔140可内置有第二麦克风,以收集用户220(如,教练)的语音信息,并将该语音信息通过5G通信网络发送至VR头盔130。VR头盔130和140之间可通过各自距离最近的5G基站310和320以及5G核心网络330实现实时数据交互。
如此,对学员进行培训指导的教练可在系统的教练端(与学员端彼此远程设置)通过另一个VR头盔看到与学员相同的虚拟飞行场景,同时还可以看到学员的动作姿态模拟图像,从而就如同身临其境地在学员身边观察学员在培训中的表现一样,以给予适当的指导。此外,教练可通过向学员发送语音信息,传递其指令或指导意见,以便学员学习和提高,从而能够达到更好的培训效果。
再如图5所示,除了VR摄像头110、操作器120、VR头盔130和140之外,该系统100还可包括操作器150。与VR头盔140相同,操作器150也位于教练端,教练端的用户220可通过操作器150输入飞行操作指导指令。该飞行操作指导指令由操作器150传输至VR头盔140,再由VR头盔140通过5G通信网络发送至VR头盔130,以指导学员端的用户210如何操作。
在操作器150上可以预先设置好一些按键或按钮,以便教练输入指令,以指导学员进行飞行驾驶操作。例如,教练可通过操作器150在虚拟飞行场景中做标记,以提醒学员注意观察该区域等等。由此,可增加系统学员端和教练端的交互手段,以提高培训效果。
根据本申请一个实施方式,VR头盔130也可内置有麦克风,以收集学员端的用户210的语音信息,并将该语音信息通过5G通信网络发送至教练端的VR头盔140。由此,也可以将学员的语音发送至教练端,从而实现双向的语音沟通。
根据本申请一个实施方式,VR头盔130还将学员端的飞行操作指令通过5G通信网络发出,即发送给教练端的VR头盔140。由此,在教练端可通过VR头盔140明确地知晓学员端进行了什么样的飞行操作,从而使得教练可以更加有针对性地进行指导。
根据一个实施例,用户220所看到的场景与用户210相同,都是沉浸式的虚拟三维座舱空间,其眼位点位于副驾驶,用户210的眼位点在主驾驶。可以理解,用户210和220均带着VR头盔,眼里看到的是同一个世界、同一个座舱空间,只不过用户210使用了技术手段,让自己的身体得以在虚拟空间中重现,而用户220是隐身的。图6示出了座舱的虚拟环境示意图。
对于以上描述的用户220的眼位点位于副驾驶,其原因在于:
第一,在真实的培训场景中,教练(即,用户220)就是坐在副驾驶的,外面是天空。
第二,虚拟空间是建模实现的封闭式的空间,具有范围界线,若超出座舱空间则会看不见完整的座舱环境。
第三,座舱空间范围内,用户210和220的视线范围都是可以自然移动的。即,和真人在真实的座舱里看舱内外环境是一样的。
根据一个实施例,系统可预制一套标准的飞行动作演示流程,流程播放过程中,教练根据播放内容进行讲解,演示内容可随时暂停,以便学员对不懂得地方进行提问。演示内容进度条可进与退,以便反复研究动作难点。此外,在模拟飞行过程中,也可以随时进行暂停和飞行状态时间空间倒退,以便于对于重点操作和/或难点操作动作反复操练,这对比于传统真机空中飞行训练具有极大的效率优势。
根据一个实施例,用户220(即,教练端)的操作手柄与用户210(即,学员端)的操作手柄具有相同功能,只是教练操作时没有模拟的三维人物同步动作,而只显示界面的反馈变化。并且,正在被控制的控件都会高亮显示。
此外,虽然用户210和220都能进行控制,界面也不会引起操作上的冲突。这是因为,同一时间只允许一个设备开启对控制界面的控制状态。而且,真实的飞行培训中,也采用双操作的系统,学员与教练会事先约定好操纵交接口令。例如,需要交接时,教练想要接管控制则会说:“我来控制”,而学员需回复:“你来控制”以完成控制的交接。
图7示出了根据本申请一个实施方式基于5G通信的飞行器驾驶培训方法的流程图。如图7所示,该方法400可包括步骤S410、S420、S430。在步骤S410中,利用VR摄像头对进行飞行器驾驶培训的第一用户进行拍摄,并获取第一用户的人体图像深度信息,从而确定人体骨骼动作数据。
在步骤S420中,利用第一操作器接收第一用户发出的飞行操作指令。
在步骤S430中,利用内置有显示给第一用户的虚拟飞行场景和虚拟操作界面的第一VR头盔,将预设的人体三维模型库中的人体模型与人体骨骼动作数据进行匹配,以生成人体动作姿态模拟图像,并基于飞行操作指令,调整虚拟飞行场景,并将调整后的虚拟飞行场景和人体动作姿态模拟图像通过5G通信网络实时发出,其中飞行操作指令与虚拟操作界面相匹配。
图8示出了根据本申请另一实施方式基于5G通信的飞行器驾驶培训方法的流程图。如图8所示,除了步骤S410至S430之外,该方法400还可包括步骤S440和S450。为了简要起见,以下将仅描述图8所示的实施方式与图7的不同之处,并将略去其相同之处的详细描述。
在步骤S440中,利用第二VR头盔,通过5G通信网络从第一VR头盔实时接收虚拟飞行场景和人体动作姿态模拟图像。
在步骤S450中,利用第二VR头盔中内置的第二麦克风,收集第二用户的语音信息,并将该语音信息通过5G通信网络发送至第一VR头盔。
图9示出了根据本申请另一实施方式基于5G通信的飞行器驾驶培训方法的流程图。如图9所示,除了步骤S410至S450之外,该方法400还可包括步骤S460。为了简要起见,以下将仅描述图9所示的实施方式与图8的不同之处,并将略去其相同之处的详细描述。
在步骤S460中,利用第二VR头盔,接收第二用户发出的飞行操作指导指令,并通过5G通信网络将该飞行操作指导指令发送至第一VR头盔。
图10示出了根据本申请另一实施方式基于5G通信的飞行器驾驶培训方法的流程图。如图10所示,除了步骤S410至S450之外,该方法400还可包括步骤S470。为了简要起见,以下将仅描述图10所示的实施方式与图8的不同之处,并将略去其相同之处的详细描述。
在步骤S470中,利用第一VR头盔中内置的第一麦克风,收集第一用户的语音信息,并将第一用户的语音信息通过5G通信网络发送至第二VR头盔。
图11示出了根据本申请另一实施方式基于5G通信的飞行器驾驶培训方法的流程图。如图11所示,除了步骤S410至S430之外,该方法400还可包括步骤S480。为了简要起见,以下将仅描述图11所示的实施方式与图7的不同之处,并将略去其相同之处的详细描述。
在步骤S480中,利用第一VR头盔,将飞行操作指令通过5G通信网络发出。
根据本申请一个实施方式,可采用以下使用流程说明,操作如上所述的基于5G通信的飞行器驾驶培训系统。
使用流程说明:
该使用流程包括:1、准备阶段;2、学习阶段;3、结束阶段。
1. 准备阶段,在学员端/教员端进行如下操作:
1.1坐好
1.2连通并佩戴设备
1.3开启开机
1.4设备间配对连接
1.5调整测试网络及音量等设置
2. 学习阶段,在学员端/教员端进行如下操作:
2.1进入学习环境开始远程培训,具体包括:
2.1.1观看视频教程,教员讲解(理论学习)
2.1.2学员开始独立飞行操作,教员讲解(上机学习)
2.1.3在理论学习和上机飞行的任何有不理解的部分利用暂停及回放功能反复学习和练习(疑难点攻关)
3. 结束阶段,在学员端/教员端进行如下操作:
3.1退出系统,关闭设备
根据本申请一个实施方式,可通过试验来验证学员通过如上所述的基于5G通信的飞行器驾驶培训系统的知识接受度。在该试验中,通过记录分析与试人员在试验环境下测试的试验项目的主观评价,获得试验结论。
测试人员包括没有飞行经历的研发人员、对飞行感兴趣的飞行爱好者和专业教员(对应身份人数比例为15:15:1)。试验设备包括DA42-NG飞机驾驶舱、LED灯及控制器和头戴式耳机。试验场地为单面镜房。
在试验的准备阶段,需确定试验目标,设计试验过程,并筛选被测试人员并预约(参加测试人员需要提前观看研究方发予的飞行操作教程视频,有疑问的地方会有专人负责讲解解答。意在模拟本专利中的理论学习阶段)。
在试验进行阶段,被测试人员在搭建的模拟远程培训系统中的虚拟操作环境中对各个试验项目进行测试。被试人员佩戴耳机接受教员音频,模拟本专利音频输入教员指令的形式。飞机驾驶舱相应空间处固定LED指示灯,教员讲解某控件,对应控件指示灯亮,模拟本专利虚拟界面高亮显示提示指令的形式。需要测试的试验项目见下附表(本实施方式中以钻石DA42-NG飞机的正常飞行操作程序作为试验测试的项目。)
在本申请中,音频配合显示界面目标指令高亮显示的信息传递模式可以进行有效的信息传递,学员可以准确及时的接收教员的信息传达。配合本申请的暂停/回放功能,可较好的吸收、理解教练教授的飞行知识。在本实施方式中所获得的试验结论为,学员基于远程飞行培训模式下的飞行技术学习具备较好的知识接受度。
试验测试项目包括:在不同的飞行阶段进行不同的试验内容。
飞行阶段包括:1、飞行前检查;2、启动发动机;3、滑行;4、起飞;5、爬升;6、巡航;7、下降;8、进近;9、着陆;10、复飞;11、着陆后;12、发动机关车。
1. 飞行前检查,包括以下试验内容:
1.1巡视检查,具体地:左主起落架(起落架支柱和锁、下位和上位锁开关、轮胎磨损和胎纹深度、轮胎,轮,刹车装置、刹车管路连接、侧滑标记、轮挡、起落架舱门);左发动机吊舱(进气口、发动机滑油液面、齿轮箱滑油油位、整流罩、燃油过滤器、通风管、排气管、螺旋桨、除冰套、发动机吊舱下部、副油箱排泄孔、副油箱加油口);左机翼(机翼表面、涡流发生器、油箱出气口、油箱进气口、油箱排放口、下表面口盖、失速告警装置、油箱加油口、空速管探头、翼尖、静电放电器、航行灯、频闪灯、系留、副翼与连杆口盖、副翼铰链与安全销、副翼片中的异物、襟翼与连杆口盖、襟翼铰链与安全销、吊舱下侧、踏板);机身左侧和下侧(舱盖、后舱舱门和舷窗、机身蒙皮、天线、机身、静压源);尾翼(安定面与操纵面、升降舵翼尖、铰链、升降舵调整片、方向舵调整片、系留、尾撬和下垂尾、静电放电器、方向舵间隙密封);机身右侧(机身蒙皮、后舷窗、舱盖(右侧)、静电电源);右主起落架(起落架支柱和锁、下位锁和上位锁开关、轮胎磨损和胎纹深度、轮胎,轮,刹车装置、刹车管路连接、侧滑标记、轮挡、起落架舱门;右翼(机翼表面、涡旋发生器、下表面上油箱出气口、油箱进气口、油箱排放口、下表面口盖、油箱加油口、翼尖、静电放电器、航行灯,频闪灯、系留、副翼与连杆口盖、副翼铰链与安全销、副翼片中的外来物、襟翼与连杆口盖、襟翼铰链与安全销、吊舱下侧、踏板、机舱通风进气口);右发动机吊舱(进气口、发动机滑油油位、齿轮箱滑油油位、整流罩、燃油过滤器、通风管、排气管、螺旋桨、除冰套、发动机吊舱下面、副油箱排泄口、副油箱加油口);前机身和前起落架(左和右前行李舱舱门、前起落架支柱、下位锁和上位锁开关、轮胎磨损和胎纹深度、侧滑标记、起落架舱门和连杆、轮挡、外界大气温度传感、连接器、牵引杆)。
该巡视检查步骤还可包括:检查损伤、间隙、载荷传递、连接固定情况、操纵面运动情况。
1.2座舱检查,具体地:停机刹车装置手柄、气象、导航、重量与平衡、随机文件、舱门锁紧机构、行李、外来物;中央控制台:燃油发控制杆、油门杆;仪表:备用静压源、起落架收放手柄、备用进气阀、交流发电机、VOTER开关、空速管加热、发电机总电门、启动钥匙、总电门、起落架选择器、襟翼选择器、断路器、电气设备开关、应急开关、ELT、燃油量、方位灯、频闪灯、着陆灯、滑行灯、失速告警、失速加热、起落架告警、火警探测器、操纵杆、可变升降舵止动器、飞行操纵面、调整片。
2. 启动发动机,包括以下试验内容:
2.1启动发动机之前,具体地:完成飞行前检查、乘员检查、锁紧舱盖舱门、调节脚蹬、系上安全带、检查油门杆、设置停机刹车、检查航电主开关、起落架收放手柄、VOTER开关、交流发电机、左/右燃油泵、接通总电门、启动G1000、检查燃油温度。
2.2启动发动机,具体地:接通频闪灯、发动机主开关、信号器、检查信号器、发动机、系统页面、操作启动键、检查滑油压力、断路器、慢车RPM。
3. 滑行,包括以下试验内容:
3.1滑行前,具体地:接通航电总电门、调整油门杆、接通电子设备、设定飞行仪表和航电、接通测试泛光灯、接通监测及关闭空速管和失速告警加热、检查频闪灯、方位灯、着陆灯、滑行灯、禁止PFD(检测自动飞行切断提示音)、检测手动电动配平、启动检测及关闭自动飞行、配平、设置MFD。
3.2滑行,具体地:松开停机刹车装置、移动后测试刹车装置、检查前轮转向、飞行仪表和航电、燃油泵LH/RH、接通调整燃油阀控制杆。
4. 起飞,包括以下试验内容:
4.1起飞前,具体地:设定停机制动器、再次确认安全带、检查后门、前座舱盖、前行李舱舱门、舱门警告、通知、发动机、系统页面、断路器、设置纵向配平、检查燃油阀控制杆、定向配平、检查设置襟翼、自由移动检查飞行操纵、开启空速管加热(该操作仅在需要的情况下执行)、着陆灯、测试ECU、燃油泵、检查可用功率。
4.2起飞(标准程序(襟翼收起起飞)),具体地:设置应答机、调整油门杆、升降舵、方向舵、抬前轮、控制初始爬升空速、收起起落架、关闭辅助油箱。
5. 爬升,包括以下试验内容:
5.1初始爬升检查,具体地:设置着陆灯、检查起落架、襟翼、控制初始爬升空速、调整油门杆、配平、监视信号器信号、发动机、系统页面。
5.2爬升过程中 GFC700 操作,具体包括:
5.2.1升降(垂直)速度,具体地:调整预选高度、模式控制器、垂直速度基准、监测白色ALT、绿色 ALT。
5.2.2飞行高度改变(FLC),具体地:调整预选高度、模式控制器、垂直速度基准、监测白色ALT、绿色 ALT。
5.2.3截获选定高度,具体地:调整高度表设定、预选高度、垂直模式和基准、监测白色ALT(进入预选高度)、绿色ALT。
5.2.4导航截获与跟踪,具体地:调整导航源、设定航道方位指针、切入航向、调整模式控制器、监测绿色或白色VOR或GPS信号、设定垂直模式和基准、动断开ESP(该操作仅在需要的情况下执行)。
6. 巡航,包括以下试验内容:
6.1调整油门杆、配平、监测信号器信号、发动机、系统页面
6.2巡航过程中GFC 700操作,具体包括:
6.2.1升降(垂直)速度,参见爬升过程中操作
6.2.2飞行高度改变(FLC ),参见爬升过程中操作
6.2.3截获选定高度,参见爬升过程中操作
6.2.4高度保持,具体地:调整高度表设定、达到预定高度、监测绿色 ALT。
6.2.5导航截获与跟踪,参见爬升过程中操作
7. 下降,包括以下试验内容:
7.1调整油门杆、空速、配平、监测信号器信号、发动机、系统页面
7.2下降过程中GFC 700 操作,具体包括:
7.2.1垂直速度,具体地:调整预选高度、模式控制器、垂直速度基准、监测白色ALT、绿色 ALT。
7.2.2飞行高度改变(FLC ),参见爬升过程中操作
7.2.3截获选定高度,参见爬升过程中操作
7.2.4导航截获与跟踪,参见爬升过程中操作
8. 进近,包括以下试验内容:检查安全带、偏航阻尼器、舵面、调整着陆灯、检查起落架告警器、燃油阀控制杆、接通辅助油箱(该操作仅在需要的情况下执行)、放下起落架、检查停机刹车手柄、配平。
9. 着陆,包括以下试验内容:
9.1着陆前,具体地:控制空速、调整襟翼、油门杆、配平、控制最终进近速度。
9.2进近与着陆过程中GFC 700操作,具体包括:
9.2.1 VOR 甚高频全向信标,具体地:设定导航源、航道方位指针、切入航向、模式控制器、监测绿色或白色VAPP信号、设定垂直模式和基准。
9.2.2仪表着陆系统(ILS),具体地:设定导航源、航道方位指针、切入航向、模式控制器、监测绿色或白色LOC和GS信号、设定垂直模式和基准。
9.2.3 GPS,具体地:设定导航源、加载FMS和ACTIVATE、切入航向、模式控制器、监测绿色或白色GPS信号器信号、设定垂直模式和基准。
9.2.4背台航向/反航线(BC),具体地:设定导航源、航道方位指针、切入航向、模式控制器、监测绿色或白色BC信号、设定垂直模式和基准、切断ESP(该操作仅在需要的情况下执行)。
10. 复飞,包括以下试验内容:
10.1调整油门杆、襟翼、控制空速、收起起落架、襟翼、关闭辅助油箱(该操作仅在需要的情况下执行)
10.2复飞过程中操作GFC700,具体地:握紧驾驶杆、按下GA按钮、执行中止着陆、复飞程序、设置高度预选、设定自动驾驶模式控制器、接通自动驾驶(该操作仅在需要的情况下执行)。
11. 着陆后,包括以下试验内容:调整油门杆、刹车装置、应答机、关闭空速管加热、按需调整航电、照明、收起襟翼、关闭辅助油箱(该操作仅在需要的情况下执行)。
12. 发动机关车,包括以下试验内容:设定停机刹车、调整油门杆、检查发动机、系统页面、检查ELT、关闭航电总电门、耗电设备、发动机总电门、防撞灯(ACL)、总电门。
此外,还可以通过切换观察模式来完成舱外检查部分。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。上述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明仅用于帮助理解本申请的方法及其核心思想。同时,本领域技术人员依据本申请的思想,基于本申请的具体实施方式及应用范围上做出的改变或变形之处,都属于本申请保护的范围。综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于5G通信的飞行器驾驶培训系统,包括:
VR摄像头,用于对进行飞行器驾驶培训的第一用户进行拍摄,并获取所述第一用户的人体图像深度信息,从而确定人体骨骼动作数据;
第一操作器,用于接收所述第一用户发出的飞行操作指令;
第一VR头盔,与所述VR摄像头和所述第一操作器通信连接,且内置有显示给所述第一用户的虚拟飞行场景和虚拟操作界面,所述飞行操作指令与所述虚拟操作界面相匹配,所述第一VR头盔将预设的人体三维模型库中的人体模型与所述人体骨骼动作数据进行匹配,以生成人体动作姿态模拟图像,所述第一VR头盔基于来自所述第一操作器的飞行操作指令,调整所述虚拟飞行场景,并将调整后的虚拟飞行场景和所述人体动作姿态模拟图像通过5G通信网络实时发出;以及
第二VR头盔,与所述第一VR头盔彼此远程设置并通过5G通信网络进行通信,以实时接收所述虚拟飞行场景和所述人体动作姿态模拟图像。
2.如权利要求1所述的系统,其中
所述第二VR头盔内置有第二麦克风,以收集第二用户的语音信息,并将所述语音信息通过5G通信网络发送至所述第一VR头盔。
3.如权利要求2所述的系统,还包括:
第二操作器,用于接收所述第二用户发出的飞行操作指导指令,并将所述飞行操作指导指令传输至所述第二VR头盔,所述第二VR头盔通过5G通信网络将所述飞行操作指导指令发送至所述第一VR头盔。
4.如权利要求2所述的系统,其中所述第一VR头盔内置有第一麦克风,以收集所述第一用户的语音信息,并将所述第一用户的语音信息通过5G通信网络发送至所述第二VR头盔。
5.如权利要求1所述的系统,其中所述第一VR头盔还将所述飞行操作指令通过5G通信网络发出。
6.一种基于5G通信的飞行器驾驶培训方法,包括:
利用VR摄像头对进行飞行器驾驶培训的第一用户进行拍摄,并获取所述第一用户的人体图像深度信息,从而确定人体骨骼动作数据;
利用第一操作器接收所述第一用户发出的飞行操作指令;
利用内置有显示给所述第一用户的虚拟飞行场景和虚拟操作界面的第一VR头盔,将预设的人体三维模型库中的人体模型与所述人体骨骼动作数据进行匹配,以生成人体动作姿态模拟图像,并基于所述飞行操作指令,调整所述虚拟飞行场景,并将调整后的虚拟飞行场景和所述人体动作姿态模拟图像通过5G通信网络实时发出,其中所述飞行操作指令与所述虚拟操作界面相匹配;以及
利用第二VR头盔,通过5G通信网络从所述第一VR头盔实时接收所述虚拟飞行场景和所述人体动作姿态模拟图像。
7.如权利要求6所述的方法,还包括:
利用所述第二VR头盔中内置的第二麦克风,收集第二用户的语音信息,并将所述语音信息通过5G通信网络发送至所述第一VR头盔。
8.如权利要求7所述的方法,还包括:
利用所述第二VR头盔,接收所述第二用户发出的飞行操作指导指令,并通过5G通信网络将所述飞行操作指导指令发送至所述第一VR头盔。
9.如权利要求7所述的方法,还包括:
利用所述第一VR头盔中内置的第一麦克风,收集所述第一用户的语音信息,并将所述第一用户的语音信息通过5G通信网络发送至所述第二VR头盔。
10.如权利要求6所述的方法,还包括:
利用所述第一VR头盔,将所述飞行操作指令通过5G通信网络发出。
CN202011238666.2A 2020-11-09 2020-11-09 基于5g通信的飞行器驾驶培训系统和方法 Active CN112102682B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011238666.2A CN112102682B (zh) 2020-11-09 2020-11-09 基于5g通信的飞行器驾驶培训系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011238666.2A CN112102682B (zh) 2020-11-09 2020-11-09 基于5g通信的飞行器驾驶培训系统和方法

Publications (2)

Publication Number Publication Date
CN112102682A CN112102682A (zh) 2020-12-18
CN112102682B true CN112102682B (zh) 2021-05-18

Family

ID=73785241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011238666.2A Active CN112102682B (zh) 2020-11-09 2020-11-09 基于5g通信的飞行器驾驶培训系统和方法

Country Status (1)

Country Link
CN (1) CN112102682B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700695B (zh) * 2020-12-29 2022-06-28 中国航空工业集团公司西安飞机设计研究所 一种便携式飞行程序训练设备
CN112908084A (zh) * 2021-02-04 2021-06-04 三一汽车起重机械有限公司 作业机械的模拟训练系统、方法、装置和电子设备
CN112987705B (zh) * 2021-03-02 2022-06-28 北京航空航天大学 一种基于5g传输的飞机自动滑跑驶离技术的验证系统
CN114360308A (zh) * 2021-11-26 2022-04-15 江西中船航海仪器有限公司 一种基于5g技术的模拟训练系统
CN116700471A (zh) * 2022-02-25 2023-09-05 凝动医疗技术服务(上海)有限公司 一种增强虚拟现实系统用户体验的方法及系统
CN115826763B (zh) * 2023-01-09 2023-05-02 南京宇天智云仿真技术有限公司 一种基于虚拟现实的特种作战仿真模拟系统及方法
CN115996357B (zh) * 2023-03-23 2023-10-31 南昌龙旗智能科技有限公司 虚拟位置处理方法及虚拟设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118874A (zh) * 2018-08-31 2019-01-01 苏州竹原信息科技有限公司 一种基于虚拟现实的飞行器驾驶培训系统及方法
CN109697917A (zh) * 2017-10-23 2019-04-30 海口未来技术研究院 飞行模拟器的参数确定方法和装置
CN111195433A (zh) * 2018-11-19 2020-05-26 波音公司 训练器和测试环境中具有虚拟化的虚拟现实

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4553362B2 (ja) * 2005-01-31 2010-09-29 キヤノン株式会社 システム、画像処理装置、情報処理方法
CN2874672Y (zh) * 2006-03-06 2007-02-28 成都运达创新科技有限公司 模拟驾驶器音频仿真系统
DE102015103735A1 (de) * 2015-03-13 2016-09-15 Airbus Defence and Space GmbH Verfahren und Vorrichtung zum Testen eines in einem Luftfahrzeug zu bedienenden Geräts
US10388071B2 (en) * 2016-03-25 2019-08-20 Sony Interactive Entertainment Inc. Virtual reality (VR) cadence profile adjustments for navigating VR users in VR environments
CN106530897B (zh) * 2016-12-28 2019-05-24 中国航空工业集团公司西安飞机设计研究所 一种飞行模拟训练装置
CN206584580U (zh) * 2017-02-23 2017-10-24 武汉山骁科技有限公司 沉浸式虚拟现实实景驾驶指导系统
CN107340869B (zh) * 2017-07-07 2021-03-30 四川云图瑞科技有限公司 基于虚幻4引擎技术的虚拟现实交互系统
US10976982B2 (en) * 2018-02-02 2021-04-13 Samsung Electronics Co., Ltd. Guided view mode for virtual reality
CN110750153A (zh) * 2019-09-11 2020-02-04 杭州博信智联科技有限公司 一种无人驾驶车辆的动态虚拟化装置
CN110969905A (zh) * 2019-11-29 2020-04-07 塔普翊海(上海)智能科技有限公司 混合现实的远程教学互动、教具互动系统及其互动方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697917A (zh) * 2017-10-23 2019-04-30 海口未来技术研究院 飞行模拟器的参数确定方法和装置
CN109118874A (zh) * 2018-08-31 2019-01-01 苏州竹原信息科技有限公司 一种基于虚拟现实的飞行器驾驶培训系统及方法
CN111195433A (zh) * 2018-11-19 2020-05-26 波音公司 训练器和测试环境中具有虚拟化的虚拟现实

Also Published As

Publication number Publication date
CN112102682A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN112102682B (zh) 基于5g通信的飞行器驾驶培训系统和方法
CN106530897B (zh) 一种飞行模拟训练装置
Baarspul A review of flight simulation techniques
CN103871292B (zh) 一种全功能飞行模拟器
Rolfe et al. Flight simulation
Jordan et al. AirSTAR: A UAV platform for flight dynamics and control system testing
CN113496635B (zh) 飞行模拟器和飞行训练模拟方法
CN103473966A (zh) 半物理的飞机驾驶舱数字式模拟操纵平台
Holleman Summary of flight tests to determine the spin and controllability characteristics of a remotely piloted, large-scale (3/8) fighter airplane model
CN116741018A (zh) 一种飞行模拟座舱及其空中特情模拟训练方法
Andreev et al. Information models for designing conceptual broad-profile flight simulators
RU2250511C1 (ru) Учебно-тренировочный комплекс авиационный
Blake The NASA Advanced Concepts Flight Simulator-A unique transport aircraft research environment
CN116312136A (zh) 一种飞机座舱模拟系统及其故障模拟训练方法
Shashidhara et al. Development of a Full Mission Simulator for Pilot Training of Fighter Aircraft.
CN112214836B (zh) 参数化飞行动态回放方法
Balcerzak et al. Flight Simulation in Civil Aviation: advantages and disadvantages.
CN113299141A (zh) 一种航空空乘模拟培训系统及培训方法
RU2361281C2 (ru) Персональный виртуальный тренажер летчика
Zazula et al. Flight simulators–from electromechanical analogue computers to modern laboratory of flying
Anderson Historical review of piloted simulation at NASA Ames
Laubner et al. A Remote Test Pilot Control Station for Unmanned Research Aircraft
Funabiki et al. Tunnel-in-the sky display for helicopters
JPH11184366A (ja) 航空交通シミュレータ
NAGEL et al. The man-vehicle systems research facility-A new NASA aeronautical R & D facility

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210331

Address after: 241000 block B2, Wanjiang Fortune Plaza, Jiujiang District, Wuhu City, Anhui Province

Applicant after: CETC WUHU GENERAL AVIATION INDUSTRY TECHNOLOGY RESEARCH INSTITUTE Co.,Ltd.

Address before: 211102 7th floor, block B4, Jiulonghu enterprise headquarters park, Jiangning District, Nanjing City, Jiangsu Province

Applicant before: Nanjing R & D center of CETC Wuhu diamond Aircraft Manufacturing Co.,Ltd.

GR01 Patent grant
GR01 Patent grant