CN109669536A - 一种驾驶舱人机视觉交互系统 - Google Patents

Abstract

本发明是一种驾驶舱人机视觉交互系统，能够适用于民用飞机下一代触控式的驾驶舱，与触控交互形成互为冗余的人机交互手段，在特定的人机交互场景中(如切换MFD信息、更改自动飞行模式、HUD操作等)，本发明使交互方式更加直觉化，其采用的视线测量方法能够保证视线测量的实时性和精度能够支持飞行员提高情景意识。

Description

一种驾驶舱人机视觉交互系统

技术领域

本发明涉及可穿戴设备领域，具体涉及一种人机视觉交互系统，属于一种民用飞机的驾驶舱人机交互系统。

背景技术

民用航空领域的驾驶舱采用的人机交互方式是利用飞行显示器呈现各种关键飞行信息，并在显示器周围部署各种控制器(包括拨动或触动式开关、按键、旋钮等)。飞行员被训练为能够理解显示器画面与控制接口之间的关联，一边观察显示器的同时，能够用手操作控制器，完成一系列操作，从而实现“飞行员人在控制回路”的概念。

目前法国泰雷兹、中国商飞等公司正在研究基于触控交互的下一代驾驶舱，通过部署大尺寸触控显示器，将控制按键集成在显示画面中，模糊了显示信息与控制按键的物理界限，尤其在飞行计划与导航路线设置的操作中，能极大提高飞行员的直觉化的操作体验和情景意识，降低飞行员所需训练水平。

在此技术背景之下，本发明以基于触控交互的驾驶舱为使用环境，提出一种基于视觉的交互系统，使视觉控制与触摸控制互为冗余。这种视觉的交互系统期望能够使飞行员免于实际接触显示器屏幕，而是直接通过眼部活动同时完成信息浏览和操作控制。这种控制方式能够在特定的人机交互场景中(如切换MFD信息、更改自动飞行模式、HUD操作等)，使交互方式更加直觉化。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种由民用飞机飞行员使用的驾驶舱人机视觉交互系统。能够适用于下一代触控式的驾驶舱，与触控交互形成互为冗余的人机交互手段。

技术方案

一种驾驶舱人机视觉交互系统，其特征在于包括穿戴结构体、穿戴式显示部件、视线测量与控制部件、头部定位部件、处理器A和处理器B；

所述的穿戴结构体被配置为能够为穿戴式显示部件、头部定位部件及视线测量与控制部件提供物理安装接口，当佩戴时，穿戴结构体相对于佩戴者头部保持稳固，并使穿戴式显示部件的光学系统置于飞行员眼球前方；

所述的穿戴式显示部件被配置为安装在穿戴结构体上，用于显示任何由处理器B生成的图像信号DS；

所述的视线测量与控制部件被配置为安装在穿戴结构体上，当飞行员佩戴时，执行以下功能：

1)用于感应佩戴者的眼部运动；

2)建立飞行员眼动模型，形成眼动信号RV，眼动信号包含两部分信息，一部分是眼球转动的定位信息RvP，另一部分是感应佩戴者是否出现眨眼动作的控制信息RvB；将RV发送给处理器A；

所述的头部定位部件用于测量飞行员头部的姿态，包括陀螺仪、定位传感器以及定位标记，其中：

1)陀螺仪被配置为安装在穿戴结构体上，能够生成惯性定位信号RI，并向处理器A发送；

2)定位传感器被配置为安装在能够感应定位标记的驾驶舱内任一其他飞机系统的物理结构上，传感方向为能够覆盖飞行员座椅区域的方向；

3)能够生成传感定位信号RS，并向处理器A发送；

4)定位标记被配置为安装在穿戴结构体上；

所述的处理器A被配置为安装在驾驶舱中不影响飞行员正常操纵飞机视线的位置，能够接收定位传感器的信号，处理为视线测量信号，具体执行以下功能：

1)接收来自陀螺仪的惯性定位信号RI，来自定位传感器的传感定位信号RS，以及来自视线测量与控制部件的眼动信号RV；

2)执行惯性定位信号RI与传感定位信号RS的数据融合，形成头部定位信号RF；

3)将RF与RvP信号进行叠加，转换至驾驶舱坐标系，并附带RvB信号，形成视线测量信号RFV，并发送给处理器B；

所述的处理器B被配置为安装在驾驶舱中不影响飞行员正常操纵飞机视线的位置，能够执行以下功能：

1)接收来自飞机系统的机载飞行信息信号FI，接收来自处理器A的视线测量信号RFV；

2)建立驾驶舱模型，根据RFV，高亮识别飞行员视线对应的驾驶舱飞行显示信息,形成图像信号DS，发送至穿戴式显示部件；

3)检测视线测量信号RFV中的RvB信号，若包含佩戴者眨眼的信息，则根据功能2)识别的飞行显示信息，识别出该信息对应的交互，形成交互指令CI，并发送给飞行系统。

所述的处理器A的数据融合的方法具体如下：

将RI转换为定位传感器坐标系下，形成信号RIC；

将第N个RS替换第M个RIC。

N与M之间满足：

M＝N*(VI/VS)-(VI/VS-1)

其中VI为RI信号的数据更新率，单位为Hz，VS为RS信号的数据更新率，单位为Hz。

所述的穿戴式显示部件采用光波导光学系统。

所述的陀螺仪生成惯性定位信号RI的速率不小于10kHz。

所述的定位传感器生成传感定位信号RS的速率不小于20Hz。

有益效果

本发明提出的一种驾驶舱人机视觉交互系统，相比于传统的按键式交互方式，简化操作流程，操作方式更直觉化，能够解放飞行员的双手，使飞行员可以保持正常的坐姿就能完成驾驶舱内的控制工作，降低工作负荷。相比于具有触控式的驾驶舱，在特定的人机交互场景中(如切换MFD信息、更改自动飞行模式、HUD操作等)，本发明使交互方式更加直觉化，其采用的视线测量方法能够保证视线测量的实时性和精度能够支持飞行员提高情景意识。

附图说明

图1为本发明的驾驶舱人机视觉交互系统架构框图。

图2为本发明的驾驶舱人机视觉交互系统的通常工作流程图。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明涉及到一种驾驶舱人机视觉交互系统，由飞行员佩戴在头部，提供显示与飞行员的视线测量，进一步识别出飞行员目视观察的驾驶舱显示飞行信息，并允许飞行员以眨眼的方式对该飞行信息进行交互。其包含的组件包括：穿戴式显示部件、头部定位部件、视线测量与控制部件、处理器A、处理器B以及穿戴结构体。其中，头部定位部件进一步包括陀螺仪、定位传感器以及定位标记(如图1)。

本发明具体由以下部分组成：

·穿戴式显示部件。被配置为安装在穿戴结构体上，用于显示任何由处理器B生成的图像信号(DS)。

·头部定位部件。用于测量飞行员头部的姿态。头部定位部件进一步包括陀螺仪、定位传感器以及定位标记。其中：

1)陀螺仪被配置为安装在穿戴结构体上，能够生成惯性定位信号(RI)，并向处理器A发送。

2)定位传感器被配置为安装在能够感应定位标记的驾驶舱内任一其他飞机系统的物理结构上，传感方向为能够覆盖飞行员座椅区域的方向。

3)能够生成传感定位信号(RS)，并向处理器A发送。

4)定位标记被配置为安装在穿戴结构体上。

·视线测量与控制部件。被配置为安装在穿戴结构体上。当飞行员佩戴时，执行以下功能：

1)用于感应佩戴者的眼部运动。

2)建立飞行员眼动模型，形成眼动信号(RV)。眼动信号包含两部分信息，一部分是眼球转动的定位信息(RvP)，另一部分是感应佩戴者是否出现眨眼动作的控制信息(RvB)。将RV发送给处理器A。

·处理器A：被配置为安装在驾驶舱中不影响飞行员正常操纵飞机视线的位置，能够接收定位传感器的信号，处理为视线测量信号，具体执行以下功能：

1)接收来自陀螺仪的惯性定位信号(RI)，来自定位传感器的传感定位信号(RS)，以及来自视线测量与控制部件的眼动信号(RV)。

2)执行惯性定位信号(RI)与传感定位信号(RS)的数据融合，形成头部定位信号(RF)。

3)将RF与RvP信号进行叠加，转换至驾驶舱坐标系，并附带RvB信号，形成视线测量信号RFV，并发送给处理器B。

·处理器B。被配置为安装在驾驶舱中不影响飞行员正常操纵飞机视线的位置，能够执行以下功能：

1)接收来自飞机系统的机载飞行信息信号(FI)，接收来自处理器A的视线测量信号(RFV)。

2)建立驾驶舱模型(包含物理结构信息、飞行显示信息、佩戴者头模)，根据RFV，高亮识别飞行员视线对应的驾驶舱飞行显示信息,形成图像信号(DS)，发送至穿戴式显示部件。

3)检测视线测量信号(RFV)中的RvB信号，若包含佩戴者眨眼的信息，则根据功能2)识别的飞行显示信息，识别出该信息对应的交互，形成交互指令(CI)，

并发送给飞行系统；

·穿戴结构体：被配置为能够为穿戴式显示部件、头部定位部件及视线测量与控制部件提供物理安装接口。当佩戴时，穿戴结构体相对于佩戴者头部保持稳固，并使穿戴式显示部件的光学系统置于飞行员眼球前方。

其中，定位信号融合的方法是周期性地在惯性定位信号(RI)中插入定位传感定位信号(RS)，使融合后的头部定位信号(RF)满足高数据更新率及高数据精度，具体实现方式为。

a)将RI转换为定位传感器坐标系下，形成信号RIC；

b)将第N个RS替换第M个RIC。

N与M之间满足：

M＝N*(VI/VS)-(VI/VS-1)

其中VI为RI信号的数据更新率(单位为Hz)，VS为RS信号的数据更新率(单位为Hz)。形成的头部定位信号(RF)为经过b)步骤处理后的RIC。

其中，穿戴式显示部件采用光波导光学系统为一种优化的选择。

其中，穿戴式显示部件和视线测量与控制部件被配置为可以根据需要配置为作用于不同侧眼睛。如，为佩戴者的左眼提供穿戴式显示画面，通过佩戴者的右眼感应眼部运动；或为佩戴者的右眼提供穿戴式显示画面，通过佩戴者的左眼感应眼部运动。

其中，由佩戴者佩戴在头部的所由部分的总重量不大于800g为一种优化的选择。

其中，穿戴结构体的适体率为95％为一种优化的选择。

以上所述的部件分别承担如图2所示的功能，以实现驾驶舱人机视觉交互系统的通常工作流程。对本发明具体实施方式的阐述，将采用一个飞行员“监控自动驾驶仪(AP)模式”并使用所述系统进行交互，对“AP模式”进行更改的场景为案例。

1.飞行员以正确的方式稳固地将穿戴结构体佩戴在头部。穿戴式结构上安装有穿戴式显示部件、陀螺仪、定位标记及视线测量与控制部件。此时，穿戴式显示部件会自然落于某一只眼前方，提供显示画面；飞行员的另一支眼自然暴露于视线测量与控制部件的传感范围之内；定位标记会自然暴露于定位传感器的传感范围之内。

2.飞行员坐在飞行员座椅上，并保持正确坐姿，使眼部自然落于驾驶舱设计眼位处，并监控自动驾驶仪(AP)模式。

3.穿戴式显示部件提供的画面为透射式显示画面。穿戴时，飞行员能够同时观察到显示虚拟的画面与真实的驾驶舱环境画面叠加在一起。

4.飞行员将视线对准驾驶舱内的AP模式信息，此时在触控显示器上显示出“APMODE”信息。

5.与此同时，头部定位部件和视线测量与控制部件会分别对飞行员的头部和瞳孔位置进行定位。陀螺仪、定位传感器和视线测量与控制部件获取的定位参数是位于各自的参考坐标系中。当经过坐标系转换，定位参数同时处于驾驶舱参考系时，能够进行定位参数融合和叠加，获得飞行员基于头部姿态的视线测量信号(RFV)。

6.头部定位部件的陀螺仪开始感应飞行员的头部运动，生成惯性定位信号(RI)，并向处理器A发送。陀螺仪生成惯性定位信号(RI)的速率不小于10kHz为一种优化的选择。

7.与此同时，头部定位部件的定位传感器开始感应飞行员的头部运动，生成传感定位信号(RS)，并向处理器A发送。定位传感器生成传感定位信号(RS)的速率不小于20Hz为一种优化的选择。

8.与此同时，视线测量与控制部件开始感应飞行员的眼部运动，形成眼动信号(RV)，并向处理器A发送。眼动信号包含两部分信息，一部分是眼球转动的定位信息(RvP)，另一部分是感应佩戴者是否出现眨眼动作的控制信息(RvB)。

9.处理器A接收来自陀螺仪的惯性定位信号(RI)，来自定位传感器的传感定位信号(RS)，并执行数据融合，并转换至佩戴者视线参考系。通常惯性定位信号(RI)速率高精度低，传感定位信号(RS)速率低精度高。融合后的头部定位信号(RF)(RF为经过b)步骤处理后的RIC)满足高数据更新率及高数据精度，具体实现方式为。

a)将RI转换为定位传感器坐标系下，形成信号RIC；

b)将第N个RS替换第M个RIC。

N与M之间满足：

M＝N*(VI/VS)-(VI/VS-1)

其中VI为RI信号的数据更新率(单位为Hz)，VS为RS信号的数据更新率(单位为Hz)。

10.处理器A将RF与RVP信号进行叠加，转换至驾驶舱坐标系，并附带RVB信号，形成视线测量信号RFV，并发送给处理器B。

11.处理器B接收来自飞机系统的机载飞行信息信号(FI)，与此同时接收来自处理器A的视线测量信号(RFV)。

12.处理器B检测视线测量信号(RFV)的信息，根据驾驶舱模型，识别出RFV在驾驶舱模型中指向“AP模式”信息。

13.处理器B接收来自飞机系统的机载飞行信息信号(FI)。在此案例中，机载飞行信息信号(FI)包含“AP模式OFF”。处理器B绘制包含方框符号及“AP MODE OFF”字样的画面，并发送给至穿戴式显示部件。

14.穿戴式显示部件将包含方框符号及“AP MODE OFF”字样的画面显示在飞行员眼前，飞行员观察到显示的方框符号高亮标识出了触控显示屏上的有关信息以及“AP MODEOFF”。

15.飞行员做出眨眼动作。

16.驾驶舱人机视觉交互系统重复执行5-11步骤。

17.处理器B检测视线测量信号(RFV)的信息，根据驾驶舱模型，识别出RFV包含对“AP模式的交互”的操作。

18.处理器B将“对AP模式的交互”处理为“AP模式开启”的交互指令(CI)，并发送给飞机系统。

19.飞机系统会识别交互指令(CI)并对AP模式进行修改，通过机载飞行信息信号(FI)发送给处理器B，包含“AP模式ON”的信息。

20.处理器B接收来自飞机系统的机载飞行信息信号(FI)，包含“AP模式ON”，绘制包含方框符号及“AP MODE ON”字样的画面，并发送给至穿戴式显示部件。

21.穿戴式显示部件将包含方框符号及“AP MODE ON”字样的画面显示在飞行员眼前，飞行员观察到显示的方框符号高亮标识出了触控显示屏上的有关信息以及“AP MODEON”，确认对“AP模式”信息的交互得到了反馈。

Claims (5)

1.一种驾驶舱人机视觉交互系统，其特征在于包括穿戴结构体、穿戴式显示部件、视线测量与控制部件、头部定位部件、处理器A和处理器B；

所述的穿戴结构体被配置为能够为穿戴式显示部件、头部定位部件及视线测量与控制部件提供物理安装接口，当佩戴时，穿戴结构体相对于佩戴者头部保持稳固，并使穿戴式显示部件的光学系统置于飞行员眼球前方；

所述的穿戴式显示部件被配置为安装在穿戴结构体上，用于显示任何由处理器B生成的图像信号DS；

所述的视线测量与控制部件被配置为安装在穿戴结构体上，当飞行员佩戴时，执行以下功能：

1)用于感应佩戴者的眼部运动；

2)建立飞行员眼动模型，形成眼动信号RV，眼动信号包含两部分信息，一部分是眼球转动的定位信息RvP，另一部分是感应佩戴者是否出现眨眼动作的控制信息RvB；将RV发送给处理器A；

所述的头部定位部件用于测量飞行员头部的姿态，包括陀螺仪、定位传感器以及

定位标记，其中：

1)陀螺仪被配置为安装在穿戴结构体上，能够生成惯性定位信号RI，并向处理器A发送；

2)定位传感器被配置为安装在能够感应定位标记的驾驶舱内任一其他飞机系统的物理结构上，传感方向为能够覆盖飞行员座椅区域的方向；

3)能够生成传感定位信号RS，并向处理器A发送；

4)定位标记被配置为安装在穿戴结构体上；

所述的处理器A被配置为安装在驾驶舱中不影响飞行员正常操纵飞机视线的位置，能够接收定位传感器的信号，处理为视线测量信号，具体执行以下功能：

1)接收来自陀螺仪的惯性定位信号RI，来自定位传感器的传感定位信号RS，以及来自视线测量与控制部件的眼动信号RV；

2)执行惯性定位信号RI与传感定位信号RS的数据融合，形成头部定位信号RF；

3)将RF与RvP信号进行叠加，转换至驾驶舱坐标系，并附带RvB信号，形成视线测量信号RFV，并发送给处理器B；

所述的处理器B被配置为安装在驾驶舱中不影响飞行员正常操纵飞机视线的位置，能够执行以下功能：

1)接收来自飞机系统的机载飞行信息信号FI，接收来自处理器A的视线测量信号RFV；

2)建立驾驶舱模型，根据RFV，高亮识别飞行员视线对应的驾驶舱飞行显示信息,形成图像信号DS，发送至穿戴式显示部件；

3)检测视线测量信号RFV中的RvB信号，若包含佩戴者眨眼的信息，则根据功能2)识别的飞行显示信息，识别出该信息对应的交互，形成交互指令CI，并发送给飞行系统。

2.根据权利要求1所述的一种驾驶舱人机视觉交互系统，其特征在于所述的处理器A的数据融合的方法具体如下：

将RI转换为定位传感器坐标系下，形成信号RIC；

将第N个RS替换第M个RIC。

N与M之间满足：

M＝N*(VI/VS)-(VI/VS-1)

其中VI为RI信号的数据更新率，单位为Hz，VS为RS信号的数据更新率，单位为Hz。

3.根据权利要求1所述的一种驾驶舱人机视觉交互系统，其特征在于所述的穿戴式显示部件采用光波导光学系统。

4.根据权利要求1所述的一种驾驶舱人机视觉交互系统，其特征在于所述的陀螺仪生成惯性定位信号RI的速率不小于10kHz。

5.根据权利要求1所述的一种驾驶舱人机视觉交互系统，其特征在于所述的定位传感器生成传感定位信号RS的速率不小于20Hz。