CN109669536B - 一种驾驶舱人机视觉交互系统 - Google Patents

一种驾驶舱人机视觉交互系统 Download PDF

Info

Publication number
CN109669536B
CN109669536B CN201811416882.4A CN201811416882A CN109669536B CN 109669536 B CN109669536 B CN 109669536B CN 201811416882 A CN201811416882 A CN 201811416882A CN 109669536 B CN109669536 B CN 109669536B
Authority
CN
China
Prior art keywords
signal
positioning
processor
pilot
cockpit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811416882.4A
Other languages
English (en)
Other versions
CN109669536A (zh
Inventor
李绎南
冯国昌
常帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Luoyang Institute of Electro Optical Equipment AVIC
Original Assignee
Luoyang Institute of Electro Optical Equipment AVIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Luoyang Institute of Electro Optical Equipment AVIC filed Critical Luoyang Institute of Electro Optical Equipment AVIC
Priority to CN201811416882.4A priority Critical patent/CN109669536B/zh
Publication of CN109669536A publication Critical patent/CN109669536A/zh
Application granted granted Critical
Publication of CN109669536B publication Critical patent/CN109669536B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Navigation (AREA)

Abstract

本发明是一种驾驶舱人机视觉交互系统，能够适用于民用飞机下一代触控式的驾驶舱，与触控交互形成互为冗余的人机交互手段，在特定的人机交互场景中(如切换MFD信息、更改自动飞行模式、HUD操作等)，本发明使交互方式更加直觉化，其采用的视线测量方法能够保证视线测量的实时性和精度能够支持飞行员提高情景意识。

Description

一种驾驶舱人机视觉交互系统
技术领域
本发明涉及可穿戴设备领域，具体涉及一种人机视觉交互系统，属于一种民用飞机的驾驶舱人机交互系统。
背景技术
民用航空领域的驾驶舱采用的人机交互方式是利用飞行显示器呈现各种关键飞行信息，并在显示器周围部署各种控制器(包括拨动或触动式开关、按键、旋钮等)。飞行员被训练为能够理解显示器画面与控制接口之间的关联，一边观察显示器的同时，能够用手操作控制器，完成一系列操作，从而实现“飞行员人在控制回路”的概念。
目前法国泰雷兹、中国商飞等公司正在研究基于触控交互的下一代驾驶舱，通过部署大尺寸触控显示器，将控制按键集成在显示画面中，模糊了显示信息与控制按键的物理界限，尤其在飞行计划与导航路线设置的操作中，能极大提高飞行员的直觉化的操作体验和情景意识，降低飞行员所需训练水平。
在此技术背景之下，本发明以基于触控交互的驾驶舱为使用环境，提出一种基于视觉的交互系统，使视觉控制与触摸控制互为冗余。这种视觉的交互系统期望能够使飞行员免于实际接触显示器屏幕，而是直接通过眼部活动同时完成信息浏览和操作控制。这种控制方式能够在特定的人机交互场景中(如切换MFD信息、更改自动飞行模式、HUD操作等)，使交互方式更加直觉化。
发明内容
要解决的技术问题
为了避免现有技术的不足之处，本发明提出一种由民用飞机飞行员使用的驾驶舱人机视觉交互系统。能够适用于下一代触控式的驾驶舱，与触控交互形成互为冗余的人机交互手段。
技术方案
一种驾驶舱人机视觉交互系统，其特征在于包括穿戴结构体、穿戴式显示部件、视线测量与控制部件、头部定位部件、处理器A和处理器B；
所述的穿戴结构体被配置为能够为穿戴式显示部件、头部定位部件及视线测量与控制部件提供物理安装接口，当佩戴时，穿戴结构体相对于佩戴者头部保持稳固，并使穿戴式显示部件的光学系统置于飞行员眼球前方；
所述的穿戴式显示部件被配置为安装在穿戴结构体上，用于显示任何由处理器B生成的图像信号DS；
所述的视线测量与控制部件被配置为安装在穿戴结构体上，当飞行员佩戴时，执行以下功能：
1)用于感应佩戴者的眼部运动；
2)建立飞行员眼动模型，形成眼动信号RV，眼动信号包含两部分信息，一部分是眼球转动的定位信息RvP，另一部分是感应佩戴者是否出现眨眼动作的控制信息RvB；将RV发送给处理器A；
所述的头部定位部件用于测量飞行员头部的姿态，包括陀螺仪、定位传感器以及定位标记，其中：
1)陀螺仪被配置为安装在穿戴结构体上，能够生成惯性定位信号RI，并向处理器A发送；
2)定位传感器被配置为安装在能够感应定位标记的驾驶舱内任一其他飞机系统的物理结构上，传感方向为能够覆盖飞行员座椅区域的方向；
3)能够生成传感定位信号RS，并向处理器A发送；
4)定位标记被配置为安装在穿戴结构体上；
所述的处理器A被配置为安装在驾驶舱中不影响飞行员正常操纵飞机视线的位置，能够接收定位传感器的信号，处理为视线测量信号，具体执行以下功能：
1)接收来自陀螺仪的惯性定位信号RI，来自定位传感器的传感定位信号RS，以及来自视线测量与控制部件的眼动信号RV；
2)执行惯性定位信号RI与传感定位信号RS的数据融合，形成头部定位信号RF；
3)将RF与RvP信号进行叠加，转换至驾驶舱坐标系，并附带RvB信号，形成视线测量信号RFV，并发送给处理器B；
所述的处理器B被配置为安装在驾驶舱中不影响飞行员正常操纵飞机视线的位置，能够执行以下功能：
1)接收来自飞机系统的机载飞行信息信号FI，接收来自处理器A的视线测量信号RFV；
2)建立驾驶舱模型，根据RFV，高亮识别飞行员视线对应的驾驶舱飞行显示信息,形成图像信号DS，发送至穿戴式显示部件；
3)检测视线测量信号RFV中的RvB信号，若包含佩戴者眨眼的信息，则根据功能2)识别的飞行显示信息，识别出该信息对应的交互，形成交互指令CI，并发送给飞行系统。
所述的处理器A的数据融合的方法具体如下：
将RI转换为定位传感器坐标系下，形成信号RIC；
将第N个RS替换第M个RIC。
N与M之间满足：
M＝N*(VI/VS)-(VI/VS-1)
其中VI为RI信号的数据更新率，单位为Hz，VS为RS信号的数据更新率，单位为Hz。
所述的穿戴式显示部件采用光波导光学系统。
所述的陀螺仪生成惯性定位信号RI的速率不小于10kHz。
所述的定位传感器生成传感定位信号RS的速率不小于20Hz。
有益效果
本发明提出的一种驾驶舱人机视觉交互系统，相比于传统的按键式交互方式，简化操作流程，操作方式更直觉化，能够解放飞行员的双手，使飞行员可以保持正常的坐姿就能完成驾驶舱内的控制工作，降低工作负荷。相比于具有触控式的驾驶舱，在特定的人机交互场景中(如切换MFD信息、更改自动飞行模式、HUD操作等)，本发明使交互方式更加直觉化，其采用的视线测量方法能够保证视线测量的实时性和精度能够支持飞行员提高情景意识。
附图说明
图1为本发明的驾驶舱人机视觉交互系统架构框图。
图2为本发明的驾驶舱人机视觉交互系统的通常工作流程图。
具体实施方式
现结合实施例、附图对本发明作进一步描述：
本发明涉及到一种驾驶舱人机视觉交互系统，由飞行员佩戴在头部，提供显示与飞行员的视线测量，进一步识别出飞行员目视观察的驾驶舱显示飞行信息，并允许飞行员以眨眼的方式对该飞行信息进行交互。其包含的组件包括：穿戴式显示部件、头部定位部件、视线测量与控制部件、处理器A、处理器B以及穿戴结构体。其中，头部定位部件进一步包括陀螺仪、定位传感器以及定位标记(如图1)。
本发明具体由以下部分组成：
·穿戴式显示部件。被配置为安装在穿戴结构体上，用于显示任何由处理器B生成的图像信号(DS)。
·头部定位部件。用于测量飞行员头部的姿态。头部定位部件进一步包括陀螺仪、定位传感器以及定位标记。其中：
1)陀螺仪被配置为安装在穿戴结构体上，能够生成惯性定位信号(RI)，并向处理器A发送。
2)定位传感器被配置为安装在能够感应定位标记的驾驶舱内任一其他飞机系统的物理结构上，传感方向为能够覆盖飞行员座椅区域的方向。
3)能够生成传感定位信号(RS)，并向处理器A发送。
4)定位标记被配置为安装在穿戴结构体上。
·视线测量与控制部件。被配置为安装在穿戴结构体上。当飞行员佩戴时，执行以下功能：
1)用于感应佩戴者的眼部运动。
2)建立飞行员眼动模型，形成眼动信号(RV)。眼动信号包含两部分信息，一部分是眼球转动的定位信息(RvP)，另一部分是感应佩戴者是否出现眨眼动作的控制信息(RvB)。将RV发送给处理器A。
·处理器A：被配置为安装在驾驶舱中不影响飞行员正常操纵飞机视线的位置，能够接收定位传感器的信号，处理为视线测量信号，具体执行以下功能：
1)接收来自陀螺仪的惯性定位信号(RI)，来自定位传感器的传感定位信号(RS)，以及来自视线测量与控制部件的眼动信号(RV)。
2)执行惯性定位信号(RI)与传感定位信号(RS)的数据融合，形成头部定位信号(RF)。
3)将RF与RvP信号进行叠加，转换至驾驶舱坐标系，并附带RvB信号，形成视线测量信号RFV，并发送给处理器B。
·处理器B。被配置为安装在驾驶舱中不影响飞行员正常操纵飞机视线的位置，能够执行以下功能：
1)接收来自飞机系统的机载飞行信息信号(FI)，接收来自处理器A的视线测量信号(RFV)。
2)建立驾驶舱模型(包含物理结构信息、飞行显示信息、佩戴者头模)，根据RFV，高亮识别飞行员视线对应的驾驶舱飞行显示信息,形成图像信号(DS)，发送至穿戴式显示部件。
3)检测视线测量信号(RFV)中的RvB信号，若包含佩戴者眨眼的信息，则根据功能2)识别的飞行显示信息，识别出该信息对应的交互，形成交互指令(CI)，
并发送给飞行系统；
·穿戴结构体：被配置为能够为穿戴式显示部件、头部定位部件及视线测量与控制部件提供物理安装接口。当佩戴时，穿戴结构体相对于佩戴者头部保持稳固，并使穿戴式显示部件的光学系统置于飞行员眼球前方。
其中，定位信号融合的方法是周期性地在惯性定位信号(RI)中插入定位传感定位信号(RS)，使融合后的头部定位信号(RF)满足高数据更新率及高数据精度，具体实现方式为。
a)将RI转换为定位传感器坐标系下，形成信号RIC；
b)将第N个RS替换第M个RIC。
N与M之间满足：
M＝N*(VI/VS)-(VI/VS-1)
其中VI为RI信号的数据更新率(单位为Hz)，VS为RS信号的数据更新率(单位为Hz)。形成的头部定位信号(RF)为经过b)步骤处理后的RIC。
其中，穿戴式显示部件采用光波导光学系统为一种优化的选择。
其中，穿戴式显示部件和视线测量与控制部件被配置为可以根据需要配置为作用于不同侧眼睛。如，为佩戴者的左眼提供穿戴式显示画面，通过佩戴者的右眼感应眼部运动；或为佩戴者的右眼提供穿戴式显示画面，通过佩戴者的左眼感应眼部运动。
其中，由佩戴者佩戴在头部的所由部分的总重量不大于800g为一种优化的选择。
其中，穿戴结构体的适体率为95％为一种优化的选择。
以上所述的部件分别承担如图2所示的功能，以实现驾驶舱人机视觉交互系统的通常工作流程。对本发明具体实施方式的阐述，将采用一个飞行员“监控自动驾驶仪(AP)模式”并使用所述系统进行交互，对“AP模式”进行更改的场景为案例。
1.飞行员以正确的方式稳固地将穿戴结构体佩戴在头部。穿戴式结构上安装有穿戴式显示部件、陀螺仪、定位标记及视线测量与控制部件。此时，穿戴式显示部件会自然落于某一只眼前方，提供显示画面；飞行员的另一支眼自然暴露于视线测量与控制部件的传感范围之内；定位标记会自然暴露于定位传感器的传感范围之内。
2.飞行员坐在飞行员座椅上，并保持正确坐姿，使眼部自然落于驾驶舱设计眼位处，并监控自动驾驶仪(AP)模式。
3.穿戴式显示部件提供的画面为透射式显示画面。穿戴时，飞行员能够同时观察到显示虚拟的画面与真实的驾驶舱环境画面叠加在一起。
4.飞行员将视线对准驾驶舱内的AP模式信息，此时在触控显示器上显示出“APMODE”信息。
5.与此同时，头部定位部件和视线测量与控制部件会分别对飞行员的头部和瞳孔位置进行定位。陀螺仪、定位传感器和视线测量与控制部件获取的定位参数是位于各自的参考坐标系中。当经过坐标系转换，定位参数同时处于驾驶舱参考系时，能够进行定位参数融合和叠加，获得飞行员基于头部姿态的视线测量信号(RFV)。
6.头部定位部件的陀螺仪开始感应飞行员的头部运动，生成惯性定位信号(RI)，并向处理器A发送。陀螺仪生成惯性定位信号(RI)的速率不小于10kHz为一种优化的选择。
7.与此同时，头部定位部件的定位传感器开始感应飞行员的头部运动，生成传感定位信号(RS)，并向处理器A发送。定位传感器生成传感定位信号(RS)的速率不小于20Hz为一种优化的选择。
8.与此同时，视线测量与控制部件开始感应飞行员的眼部运动，形成眼动信号(RV)，并向处理器A发送。眼动信号包含两部分信息，一部分是眼球转动的定位信息(RvP)，另一部分是感应佩戴者是否出现眨眼动作的控制信息(RvB)。
9.处理器A接收来自陀螺仪的惯性定位信号(RI)，来自定位传感器的传感定位信号(RS)，并执行数据融合，并转换至佩戴者视线参考系。通常惯性定位信号(RI)速率高精度低，传感定位信号(RS)速率低精度高。融合后的头部定位信号(RF)(RF为经过b)步骤处理后的RIC)满足高数据更新率及高数据精度，具体实现方式为。
a)将RI转换为定位传感器坐标系下，形成信号RIC；
b)将第N个RS替换第M个RIC。
N与M之间满足：
M＝N*(VI/VS)-(VI/VS-1)
其中VI为RI信号的数据更新率(单位为Hz)，VS为RS信号的数据更新率(单位为Hz)。
10.处理器A将RF与RVP信号进行叠加，转换至驾驶舱坐标系，并附带RVB信号，形成视线测量信号RFV，并发送给处理器B。
11.处理器B接收来自飞机系统的机载飞行信息信号(FI)，与此同时接收来自处理器A的视线测量信号(RFV)。
12.处理器B检测视线测量信号(RFV)的信息，根据驾驶舱模型，识别出RFV在驾驶舱模型中指向“AP模式”信息。
13.处理器B接收来自飞机系统的机载飞行信息信号(FI)。在此案例中，机载飞行信息信号(FI)包含“AP模式OFF”。处理器B绘制包含方框符号及“AP MODE OFF”字样的画面，并发送给至穿戴式显示部件。
14.穿戴式显示部件将包含方框符号及“AP MODE OFF”字样的画面显示在飞行员眼前，飞行员观察到显示的方框符号高亮标识出了触控显示屏上的有关信息以及“AP MODEOFF”。
15.飞行员做出眨眼动作。
16.驾驶舱人机视觉交互系统重复执行5-11步骤。
17.处理器B检测视线测量信号(RFV)的信息，根据驾驶舱模型，识别出RFV包含对“AP模式的交互”的操作。
18.处理器B将“对AP模式的交互”处理为“AP模式开启”的交互指令(CI)，并发送给飞机系统。
19.飞机系统会识别交互指令(CI)并对AP模式进行修改，通过机载飞行信息信号(FI)发送给处理器B，包含“AP模式ON”的信息。
20.处理器B接收来自飞机系统的机载飞行信息信号(FI)，包含“AP模式ON”，绘制包含方框符号及“AP MODE ON”字样的画面，并发送给至穿戴式显示部件。
21.穿戴式显示部件将包含方框符号及“AP MODE ON”字样的画面显示在飞行员眼前，飞行员观察到显示的方框符号高亮标识出了触控显示屏上的有关信息以及“AP MODEON”，确认对“AP模式”信息的交互得到了反馈。

Claims (4)

1.一种驾驶舱人机视觉交互系统，其特征在于包括穿戴结构体、穿戴式显示部件、视线测量与控制部件、头部定位部件、处理器A和处理器B；
所述的穿戴结构体被配置为能够为穿戴式显示部件、头部定位部件及视线测量与控制部件提供物理安装接口，当佩戴时，穿戴结构体相对于佩戴者头部保持稳固，并使穿戴式显示部件的光学系统置于飞行员眼球前方；
所述的穿戴式显示部件被配置为安装在穿戴结构体上，用于显示任何由处理器B生成的图像信号DS；
所述的视线测量与控制部件被配置为安装在穿戴结构体上，当飞行员佩戴时，执行以下功能：
1)用于感应佩戴者的眼部运动；
2)建立飞行员眼动模型，形成眼动信号RV，眼动信号包含两部分信息，一部分是眼球转动的定位信息RvP，另一部分是感应佩戴者是否出现眨眼动作的控制信息RvB；将RV发送给处理器A；
所述的头部定位部件用于测量飞行员头部的姿态，包括陀螺仪、定位传感器以及定位标记，其中：
1)陀螺仪被配置为安装在穿戴结构体上，能够生成惯性定位信号RI，并向处理器A发送；
2)定位传感器被配置为安装在能够感应定位标记的驾驶舱内任一其他飞机系统的物理结构上，传感方向为能够覆盖飞行员座椅区域的方向；
3)能够生成传感定位信号RS，并向处理器A发送；
4)定位标记被配置为安装在穿戴结构体上；
所述的处理器A被配置为安装在驾驶舱中不影响飞行员正常操纵飞机视线的位置，能够接收定位传感器的信号，处理为视线测量信号，具体执行以下功能：
1)接收来自陀螺仪的惯性定位信号RI，来自定位传感器的传感定位信号RS，以及来自视线测量与控制部件的眼动信号RV；
2)执行惯性定位信号RI与传感定位信号RS的数据融合，形成头部定位信号RF；
3)将RF与RvP信号进行叠加，转换至驾驶舱坐标系，并附带RvB信号，形成视线测量信号RFV，并发送给处理器B；
所述的处理器B被配置为安装在驾驶舱中不影响飞行员正常操纵飞机视线的位置，能够执行以下功能：
1)接收来自飞机系统的机载飞行信息信号FI，接收来自处理器A的视线测量信号RFV；
2)建立驾驶舱模型，根据RFV，高亮识别飞行员视线对应的驾驶舱飞行显示信息,形成图像信号DS，发送至穿戴式显示部件；
3)检测视线测量信号RFV中的RvB信号，若包含佩戴者眨眼的信息，则根据功能2)识别的飞行显示信息，识别出该信息对应的交互，形成交互指令CI，并发送给飞行系统；
所述的处理器A的数据融合的方法具体如下：
将RI转换为定位传感器坐标系下，形成信号RIC；
将第N个RS替换第M个RIC；
N与M之间满足：
M＝N*(VI/VS)-(VI/VS-1)
其中VI为RI信号的数据更新率，单位为Hz，VS为RS信号的数据更新率，单位为Hz。
2.根据权利要求1所述的一种驾驶舱人机视觉交互系统，其特征在于所述的穿戴式显示部件采用光波导光学系统。
3.根据权利要求1所述的一种驾驶舱人机视觉交互系统，其特征在于所述的陀螺仪生成惯性定位信号RI的速率不小于10kHz。
4.根据权利要求1所述的一种驾驶舱人机视觉交互系统，其特征在于所述的定位传感器生成传感定位信号RS的速率不小于20Hz。
CN201811416882.4A 2018-11-26 2018-11-26 一种驾驶舱人机视觉交互系统 Active CN109669536B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811416882.4A CN109669536B (zh) 2018-11-26 2018-11-26 一种驾驶舱人机视觉交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811416882.4A CN109669536B (zh) 2018-11-26 2018-11-26 一种驾驶舱人机视觉交互系统

Publications (2)

Publication Number Publication Date
CN109669536A CN109669536A (zh) 2019-04-23
CN109669536B true CN109669536B (zh) 2021-11-02

Family

ID=66143285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811416882.4A Active CN109669536B (zh) 2018-11-26 2018-11-26 一种驾驶舱人机视觉交互系统

Country Status (1)

Country Link
CN (1) CN109669536B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115562490B (zh) * 2022-10-12 2024-01-09 西北工业大学太仓长三角研究院 一种基于深度学习的飞机驾驶舱跨屏眼动交互方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7928927B1 (en) * 2008-03-17 2011-04-19 Rockwell Collins, Inc. Head worn head up display system
US8754786B2 (en) * 2011-06-30 2014-06-17 General Electric Company Method of operating a synthetic vision system in an aircraft
KR101655818B1 (ko) * 2014-12-11 2016-09-08 현대자동차주식회사 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템
CN104573285A (zh) * 2015-02-03 2015-04-29 扬州大学 一种基于飞行员动作特征的驾驶舱布局设计方法
CN105139451B (zh) * 2015-08-10 2018-06-26 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种基于hud的合成视景指引显示系统
US10018847B2 (en) * 2015-10-28 2018-07-10 Honeywell International Inc. Methods of vestibulo-ocular reflex correction in display systems
CN105320820A (zh) * 2015-12-02 2016-02-10 上海航空电器有限公司 基于沉浸式虚拟现实平台的快速座舱设计系统及方法
CN106814849B (zh) * 2016-12-03 2020-08-14 中信海洋直升机股份有限公司 基于眼球追踪的模拟飞行操作测试辅助系统及方法
CN107274747A (zh) * 2017-08-01 2017-10-20 中国航空工业集团公司西安飞机设计研究所 一种飞机驾驶舱人机工效评估系统
CN107490866B (zh) * 2017-09-20 2019-11-29 中国航空工业集团公司洛阳电光设备研究所 一种飞行员可穿戴显示系统及其定位头部姿态的方法
CN108225281A (zh) * 2017-12-25 2018-06-29 中国航空工业集团公司洛阳电光设备研究所 一种基于摄像机的飞行员头部姿态检测方法

Also Published As

Publication number Publication date
CN109669536A (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
CN109131908B (zh) 用于执行紧急降落和着陆的系统和方法
US9696546B2 (en) Head-mountable cockpit display system
CN109070997B (zh) 机组自动化系统和方法
CN106657717B (zh) 一种用于在头戴式显示设备上显示图像的方法
US8907887B2 (en) Methods and systems for operating avionic systems based on user gestures
EP3605279A1 (en) Method and system for user-related multi-screen solution for augmented reality for use in performing maintenance
CN109308076A (zh) 具有集成成像和力感测模态的机组自动化系统和方法
US20150378156A1 (en) Method for operating a mobile virtual reality system in a motor vehicle, and mobile virtual reality system
Caudell Introduction to augmented and virtual reality
JP2019513610A5 (zh)
CN107656505A (zh) 使用增强现实设备控制人机协作的方法、装置和系统
CA2969959A1 (en) Correction of vibration-induced error for touch screen display in an aircraft
EP2741171A1 (en) Method, human-machine interface and vehicle
CN106104667B (zh) 具有光透射率的选择可控制区域的挡风玻璃及其控制方法
CN104118568B (zh) 飞行器驾驶舱中飞行员与其环境之间的交互方法
US11048079B2 (en) Method and system for display and interaction embedded in a cockpit
CN108319274A (zh) 一种无人飞行器位置的图形显示方法
JP5971466B2 (ja) フライトパス表示システム、方法及びプログラム
CN109669536B (zh) 一种驾驶舱人机视觉交互系统
WO2019246355A1 (en) Automatic cockpit identification and augmented image placement
CN108475495A (zh) 图像显示装置及图像显示方法
US10996467B2 (en) Head-mounted display and control apparatus and method
CN116524783A (zh) 一种虚实临境飞行训练系统
CN112513784A (zh) 自动隐藏显示内容的、用于车辆的数据眼镜
KR102457627B1 (ko) 항공기의 조종을 돕는 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant