CN107219928A - 一种战机飞行员操作识别的数据采集分析装置及方法 - Google Patents

Abstract

本发明公开了一种战机飞行员操作识别的数据采集分析装置及方法，每个待操作装置上均设置有RFID标签，每只数据手套上均安装有RFID读卡器，每个RFID读卡器均通过同一信息处理盒连接至计算机；RFID读卡器用于在飞行员操作过程中读取RFID标签内的标签信息，以判断飞行员的动作信息；信息处理盒用于接收动作信息，并对动作信息进行分析和临时储存；通过在数据手套和待操作装置上分别安装有RFID读卡器和RFID标签，可以精确记录飞行员的各类动作，且在数据手套上安装有力反馈传感器、三轴加速度计和三轴陀螺仪，实现位置跟踪，以实现方便对飞行员的操作进行跟踪记录和判别的问题。

Description

一种战机飞行员操作识别的数据采集分析装置及方法

【技术领域】

本发明属于战机训练虚拟仿真技术领域，具体涉及一种战机飞行员操作识别的数据采集分析装置及方法。

【背景技术】

伴随着红外制导武器的发展，相应的对抗手段也在不断升级。没有人工干扰的净空作战条件已经不复存在，复杂对抗环境成为未来必然面临的空战模式。战斗机飞行员不仅要有过硬的飞行技能，还应具备在各种条件下打中目标并摧毁目标的能力和提高自身战场生存率的能力，能够在稍纵即逝的攻击窗口和生存机会面前，能够不假思索的做出合理反应。

为达到以上作战要求必须在日常训练中对飞行员进行良好训练，使其熟练掌握复杂对抗环境下机载各类设备的操作。除了在各类飞行模拟器上进行训练外，针对日常飞行和战训过程中飞行员各类操作进行记录分析具有十分重要的作用。

目前，飞行员在驾驶飞机过程中，通常会带有一副手套，以山羊皮制成，具有良好的触感和阻燃性。该手套主要作用是保暖，尤其是冬季高空战机内温度相当低，同时防止还用于弹射跳伞后冻伤。除上述作用外，手套不具有任何其他功能。

在虚拟仿真民用领域，数据手套是一种最常用的交互工具。数据手套中包括弯曲传感器、力敏材料和弹性材料等，通过导线连接到信号处理电路，能够把人手姿态传递给虚拟环境，而且能够把与虚拟物体的接触反馈给操作者，从而更加自然、更加有效的与虚拟世界进行交互，增强虚拟仿真的互动性和沉浸感。数据手套本身不提供与空间位置相关的信息。

【发明内容】

本发明的目的是提供一种战机飞行员操作识别的数据采集分析装置及方法，以实现方便对飞行员的操作进行跟踪记录和判别的问题。

本发明采用以下技术方案：一种战机飞行员操作识别的数据采集分析装置，包括多个待操作装置，每个待操作装置上均设置有RFID标签；还包括用于飞行员佩戴的两只数据手套，每只数据手套上均安装有RFID读卡器，每个RFID读卡器均通过同一信息处理盒连接至计算机；

RFID读卡器用于在飞行员操作过程中读取RFID标签内的标签信息，以判断飞行员的动作信息，并将动作信息发送至信息处理盒；信息处理盒用于接收动作信息，并对动作信息进行分析和临时储存。

进一步地，每只数据手套上均安装有辅助测量组件，每个辅助测量组件均连接至同一信息处理盒，信息处理盒还连接有用于将其固定在飞行员身体上的固定装置；辅助测量组件用于辅助测量飞行员的动作信息，并将动作信息发送至信息处理盒。

进一步地，辅助测量组件包括用于测量飞行员手部动作的惯性测量组件、用于测量飞行员手指弯曲动作的电压式弯曲传感器、用于测量飞行员手指触感的力反馈传感器。

进一步地，惯性测量组件包括三轴加速度计和三轴陀螺仪，三轴加速度传感器用于测量飞行员手部的三轴加速度，三轴陀螺仪用于测量飞行员手部的三轴角速度。

进一步地，信息处理盒包括电源板、数据处理板、储存卡和接口板；

接口板包括用于与每个数据手套连接的电缆插座和用于与计算机连接的USB接口；

电源板包括电池、电量指示灯和充电电路。

本发明的另一种技术方案是一种战机飞行员操作识别方法，基于上述的飞行员操作识别数据采集分析装置，具体包括以下步骤：

步骤1、建立飞行员离线手势数据库；

步骤2、通过RFID读卡器和辅助测量组件捕获飞行员实时操作信息；

步骤3、将步骤2中实时操作信息与步骤1中飞行员离线手势数据库中的操作信息进行匹配，得出匹配结果。

进一步地，步骤1具体方法如下：

步骤1.1、飞行员佩戴飞行员操作识别的数据采集分析装置；

步骤1.2、信息处理盒发出提示音，指定飞行员进行指定规范动作；

步骤1.3、飞行员进行指定规范动作的手势操作，同时通过RFID读卡器、辅助测量组件捕获飞行员的动作信息，获得指定规范动作的单次动作信息，储存至计算机内；重复进行指定规范动作，获得不少于m个单次动作信息，其中m＞0；

步骤1.4、重复执行步骤1.2至步骤1.3，直至将所有指定动作信息均储存至计算机内，建立飞行员离线手势采集库。

本发明的有益效果是：通过在数据手套和待操作装置上分别安装有RFID读卡器和RFID标签，可以精确记录飞行员的各类动作，且在数据手套上安装有力反馈传感器、三轴加速度计和三轴陀螺仪，实现位置跟踪，能够提供飞行员操作空间位置信息，结合飞行员手指操作的力反馈信号，通过信号处理器重构出飞行员的操作。在日常飞行训练过程中，通过记录飞行员的实际操作，能够为评判飞行员各类战术动作的完成情况提供数据支持，在战训过程中，该装置采集的飞行员操作可通过其他设备传输给战训评判中心，可为实时评判提供数据支持。

【附图说明】

图1为本发明一种战机飞行员操作识别的数据采集分析装置的结构示意图；

图2为本发明中一种战机飞行员操作识别方法的流程图。

其中：1.RFID标签；2.RFID读卡器；3.信息处理盒；4.计算机。

【具体实施方式】

下面结合附图和具体实施方式对本发明进行详细说明。

本发明公开了一种战机飞行员操作识别的数据采集分析装置，其主要目的是为服务我军战机飞行员日常飞行训练和战训，如图1、图2所示，包括多个待操作装置，待操作装置指的是飞行员需要进行操作的按钮、旋钮和操作杆等。每个待操作装置上均设置有RFID标签1，即在这些按钮、旋钮、操作杆等的表面粘贴或包裹一个透明的RFID(无线射频识别)标签1，该标签由透明材料制成，类似胶带，不影响飞行员观察按钮旋钮等，每个RFID标签1具有唯一的ID。

还包括用于飞行员佩戴的两只数据手套，每只数据手套上均安装有RFID读卡器2，每个RFID读卡器2均通过同一信息处理盒3连接至计算机4。每个RFID标签1均可以被RFID读卡器2识别，RFID读卡器2用于在飞行员操作过程中读取RFID标签1内的标签信息，以判断飞行员的动作信息，并将动作信息发送至信息处理盒3。

一般情况下在每只数据手套的拇指、食指和中指指套顶端分别集成有力反馈传感器和RFID读卡器2，当数据手套接近某个按钮时，该按钮上的RFID标签1与数据手套指尖足够接近后，将进入到RFID读卡器2的磁场，接收解读器发出的射频信号，凭借感应电流所获得的能量发送出存储在RFID芯片中的标识信息，读卡器读取信息并解码后，送至信息处理盒3进行数据处理。

数据手套指尖的力反馈信号可确认飞行员是否进行了操作，RFID读卡器2可分辨具体是哪个按钮被按下或者被扳动等。

上述信号全部传输到信息处理盒3，通过计算能够重构出飞行员的操作。在日常飞行训练过程中，通过记录飞行员的实际操作，能够为评判飞行员各类战术动作的完成情况提供数据支持。在战训过程中，该装置采集的飞行员操作可通过其他设备传输给战训评判中心，可为实时评判提供数据支持。

每个数据手套可以自带电池，通过蓝牙与信息处理盒3连接，也可以通过电缆与信息处理盒3连接，由信息处理盒3进行供电，共同实现飞行员操作识别任务。信息处理盒3自身具有电池，可通过弹性尼龙带绑在飞行员胳膊或大腿上，信息处理盒3用于接收动作信息，并对接收到的动作信息进行分析和临时储存。

每只数据手套上均安装有辅助测量组件，每个辅助测量组件均连接至同一信息处理盒3，信息处理盒3还连接有用于将其固定在飞行员身体上的固定装置，即可通过弹性尼龙带绑在飞行员胳膊或大腿上。辅助测量组件用于辅助测量飞行员的动作信息，并将动作信息发送至信息处理盒3。

辅助测量组件包括用于测量飞行员手部动作的惯性测量组件、用于测量飞行员手指弯曲动作的电压式弯曲传感器、用于测量飞行员手指触感的力反馈传感器。

惯性测量组件包括三轴加速度计和三轴陀螺仪，均位于手套的手腕部分，三轴加速度计用于测量飞行员手部的三轴加速度，三轴陀螺仪用于测量飞行员手部的三轴角速度，将其结合可以得出飞行员操作空间位置信息。

通过采用MEMS技术的惯性测量组件(含三轴加速度计和三轴陀螺仪)，检测捕捉手部的倾斜、翻转动作。三轴加速度计X轴与飞机纵向轴线向平行，指向机头方向，与该轴垂直，铅锤向上为Y轴，Z轴与XY方向符合右手定则。三轴陀螺仪与加速度的坐标系定义相同，并分别计算三个轴的角速度。系统上电后，惯性测量组件对飞行员的手臂的空间位置运动和角运动进行测量，输出三个轴向的加速度和角速度数值，共计六个量，通过RS422接口传输给信息处理盒3。

通过力反馈传感器，感知指头的触感。飞行员触摸到实际的按钮、旋钮或手柄后，三个指头的力反馈传感器能够反馈哪几个产生的力，将三个力信号传输给信息处理盒3；采用RFID标签1对飞行员操作的所有按钮、旋钮等进行唯一标识，由手指尖的RFID读卡器2进行识别，结合力反馈传感器信号，确认飞行员具体操作的哪几个按钮以及先后顺序等。

信息处理盒3一般为一个通过夹子等方式固定在飞行员身上的一个小盒子，尺寸不超过20cm*20cm*8cm，信息处理盒3无需外部供电，具有外部充电接口，使用过程和充电过程具有电量指示灯。

信息处理盒3包括电源板、数据处理板、储存卡和接口板等；接口板对数据手套传输过来的信号进行预处理，进行信号滤波和数据帧解析等，接口板包括用于与每个数据手套连接的电缆插座和用于与计算机连接的USB接口，如通过该USB接口连接计算机，则整个识别装置处于离线手势采集工作模式，如悬空，则表示为实时识别处理阶段；电源板包括电池、电量指示灯和充电电路等。数据处理板通过接收接口板进行预处理的数据手套信息，可获得飞行员手臂的空间位置和姿态信号、RFID标签1以及指尖的力反馈信号等。

本发明还公开了一种战机飞行员操作识别方法，基于上述的飞行员操作识别的数据采集分析装置，具体包括以下步骤：

步骤1、建立飞行员离线手势数据库；该阶段在地面进行。

步骤1.1、飞行员佩戴飞行员操作识别数据采集分析装置。

飞行员通过信息处理盒3背部的固定装置，如夹子固定在其胸前，同时，连接一根USB电缆，与一台计算机相连，通常计算机可使用一台笔记本电脑。飞行员佩戴两只数据手套，并将数据手套的电缆分别连接到信息处理盒3。两个电缆连接后信息处理盒3自动启动。笔记本计算机运行离线手势数据库软件，进入到离线学习模式。

步骤1.2、信息处理盒3发出短促提示音，指定飞行员进行指定规范动作，要求飞行员两手五指伸展，平放在紧急弹射手柄上，信息处理盒3采集该信息，进行两个数据手套的初始定位。

步骤1.3、飞行员进行指定规范动作的手势操作，同时通过RFID读卡器2、辅助测量组件捕获飞行员的动作信息，获得指定规范动作的单次动作信息，储存至计算机4内。

以导弹发射为例，笔记本数据库软件通过语音提示，要求飞行员进行“导弹发射”操作。信息处理盒3进入到数据采集阶段，开始实时记录指令发出后的数据手套上各类传感器的数据流；当接收到手指上出现力反馈信号脉冲信号，即，该力反馈信号持续一段时间又消失，此时，信息处理盒3停止记录，进行信号综合分析，所处理信号的起始时刻为力反馈信号出现为零时刻前推3秒，信号终止时刻为所有力反馈信号消失时刻后推1秒，将这些信号作为模板，对应于“导弹发射”这一动作。

重复进行规范动作，获得不少于m个单次指定动作信息，其中m＞0，即该导弹发射动作重复进行10次，得出10个单次指定动作信息存入计算机4内。

步骤1.4、对其他操作的离线记录，与导弹发射动作类似，重复执行步骤1.2至步骤1.3，直至将所有预设动作均储存至所述计算机内，建立飞行员离线手势采集库。

步骤2、通过RFID读卡器2和辅助测量组件捕获飞行员实时操作信息。

步骤3、完成离线手势采集库后，即具备在线识别能力。在线识别过程，则是飞行员操作过程的传感器数据流，与离线手势采集库中的动作进行匹配，从而给出飞行员的实时操作。

将步骤2中的所述实时操作信息与步骤1中的所述飞行员离线手势采集库中的操作信息进行匹配，得出匹配结果。

通过将步骤2实时操作信息中RFID读卡器2信息与手势数据库中的RFID读卡器2信息进行匹配；将辅助测量组件得出的实时操作信息与手势数据库中预设动作信息进行匹配；结合通过RFID读卡器得到的匹配结果和辅助测量组件得到的匹配结果，得出最终匹配结果。

匹配方法如下：

a、对实时记录的传感器数据流进行截取，信号起始时刻为力反馈信号出现为零时刻前推1秒，信号终止时刻为所有力反馈信号消失时刻后推1秒。

b、读取食指指尖RFID读卡器2所获取的RFID值，与数据库中的所有手势进行对比，如果该手势对应的RFID值与数据库中某一手势的RFID值一致，且出现时间误差在±0.5s内，则保留该手势；如果数据库中只有一个手势与该手势一致，则表明匹配完成，退出匹配过程；如果不唯一则继续；

c、读取拇指指尖RFID读卡器2所获取的RFID值，与满足第b条的所有手势进行逐一对比，如果该手势对应的RFID值与数据库中某一手势的RFID值一致，且出现时间误差在±0.5s内，则保留该手势；如果数据库中只有唯一一组手势与这两个手势一致，则表明匹配完成，退出匹配过程；如果不唯一则继续；

d、读取中指指尖RFID读卡器2所获取的RFID值，与满足第c条的所有手势进行逐一对比，如果该手势对应的RFID值与数据库中某一手势的RFID值一致，且出现时间误差在±0.5s内，则保留该手势；

e、通过上述三个手指的匹配，识别得到一个唯一的手势动作。

当战机不允许或不方便采用RFID标签1对按钮、旋钮和手柄等进行标识，或得出的匹配结果不够准确时，则可通过辅助测量组件辅助进行动作识别，辅助测量组件的动作识别过程如下：

A、根据三轴加速度计和三轴陀螺仪，选取X向位置参数，与数据库所有手势进行匹配，如果该手势对应的力反馈信号出现时刻X向位置参数与该参数误差小于100mm，则保留该手势；能够匹配该数据的手势可能不唯一；

B、进一步通过Y向位置参数进行比对，如实时采集的Y向位置参数与数据库中某手势的Y向位置参数误差小于100mm，则保留该手势，否则剔除；

C、如结果还不唯一，则进一步通过产生力反馈信号的脉冲宽度进行比较；如误差小于1秒，则保留该手势，否则剔除；

D、如手势匹配结果还不唯一，则进一步通过姿态信息进行比较，直至匹配得到唯一的手势动作。

上述实施例表明了一种匹配原则和匹配方法，实际运行过程中，不同手势的匹配过程，哪些参数优先匹配，以及匹配过程误差都是需要结合具体操作手势确定。

Claims (7)

1.一种战机飞行员操作识别的数据采集分析装置，其特征在于，包括多个待操作装置，每个所述待操作装置上均设置有RFID标签(1)；还包括用于飞行员佩戴的两只数据手套，每只所述数据手套上均安装有RFID读卡器(2)，每个所述RFID读卡器(2)均通过同一信息处理盒(3)连接至计算机(4)；

所述RFID读卡器(2)用于在飞行员操作过程中读取所述RFID标签(1)内的标签信息，以判断飞行员的动作信息，并将所述动作信息发送至信息处理盒(3)；所述信息处理盒(3)用于接收所述动作信息，并对所述动作信息进行分析和临时储存。

2.如权利要求1所述的战机飞行员操作识别的数据采集分析装置，其特征在于，每只所述数据手套上均安装有辅助测量组件，每个所述辅助测量组件均连接至同一信息处理盒(3)，所述信息处理盒(3)还连接有用于将其固定在飞行员身体上的固定装置；所述辅助测量组件用于辅助测量飞行员的动作信息，并将所述动作信息发送至信息处理盒(3)。

3.根据权利要求2所述的战机飞行员操作识别的数据采集分析装置，其特征在于，所述辅助测量组件包括用于测量飞行员手部动作的惯性测量组件、用于测量飞行员手指弯曲动作的电压式弯曲传感器、用于测量飞行员手指触感的力反馈传感器。

4.根据权利要求3所述的战机飞行员操作识别的数据采集分析装置，其特征在于，所述惯性测量组件包括三轴加速度计和三轴陀螺仪，所述三轴加速度传感器用于测量飞行员手部的三轴加速度，所述三轴陀螺仪用于测量飞行员手部的三轴角速度。

5.根据权利要求1所述的战机飞行员操作识别的数据采集分析装置，其特征在于，所述信息处理盒(3)包括电源板、数据处理板、储存卡和接口板；

所述接口板包括用于与每个所述数据手套连接的电缆插座和用于与所述计算机(4)连接的USB接口；

所述电源板包括电池、电量指示灯和充电电路。

6.一种战机飞行员操作识别方法，其特征在于，基于如权利要求1-5所述的飞行员操作识别数据采集分析装置，具体包括以下步骤：

步骤1、建立飞行员离线手势数据库；

步骤2、通过RFID读卡器(2)和辅助测量组件捕获飞行员实时操作信息；

步骤3、将步骤2中所述实时操作信息与步骤1中所述飞行员离线手势数据库中的操作信息进行匹配，得出匹配结果。

7.如权利要求6所述的战机飞行员操作识别方法，其特征在于，步骤1具体方法如下：

步骤1.1、飞行员佩戴飞行员操作识别的数据采集分析装置；

步骤1.2、信息处理盒发出提示音，指定飞行员进行指定规范动作；

步骤1.3、飞行员进行指定规范动作的手势操作，同时通过RFID读卡器(2)、辅助测量组件捕获飞行员的动作信息，获得指定规范动作的单次动作信息，储存至计算机内(4)；重复进行指定规范动作，获得不少于m个单次动作信息，其中m＞0；

步骤1.4、重复执行步骤1.2至步骤1.3，直至将所有指定动作信息均储存至计算机(4)内，建立飞行员离线手势采集库。