CN113778113A - 一种基于多模态生理信号的飞行员辅助驾驶方法及系统 - Google Patents
一种基于多模态生理信号的飞行员辅助驾驶方法及系统 Download PDFInfo
- Publication number
- CN113778113A CN113778113A CN202110962284.2A CN202110962284A CN113778113A CN 113778113 A CN113778113 A CN 113778113A CN 202110962284 A CN202110962284 A CN 202110962284A CN 113778113 A CN113778113 A CN 113778113A
- Authority
- CN
- China
- Prior art keywords
- data
- decision
- pilot
- aircraft
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000009471 action Effects 0.000 claims abstract description 92
- 230000008447 perception Effects 0.000 claims abstract description 71
- 230000033001 locomotion Effects 0.000 claims abstract description 45
- 238000013523 data management Methods 0.000 claims abstract description 25
- 230000007613 environmental effect Effects 0.000 claims abstract description 23
- 230000004927 fusion Effects 0.000 claims description 27
- 230000003993 interaction Effects 0.000 claims description 26
- 230000001149 cognitive effect Effects 0.000 claims description 24
- 230000019771 cognition Effects 0.000 claims description 18
- 238000004088 simulation Methods 0.000 claims description 7
- 230000003542 behavioural effect Effects 0.000 claims 2
- 230000008569 process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 8
- 210000004556 brain Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000007405 data analysis Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013486 operation strategy Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
- A61B5/397—Analysis of electromyograms
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于多模态生理信号的飞行员辅助驾驶方法及系统，涉及飞行器辅助驾驶技术领域，方法包括：多模态生理信号识别系统获取飞行员的生理数据以及环境感知信息，并获取理性动作决策建议，将理性动作决策建议发送至人机协同任务分配决策系统；人机协同任务分配决策系统根据获取到的理性动作决策建议，确定运动指令并发送给控制系统；多模态生理信号识别系统将理性动作决策建议以及环境感知信息发送至硬件视景系统，硬件视景系统通过理性动作决策建议以及环境感知信息确定飞行环境数据，并将飞行环境数据显示给飞行员；数据管理系统存储各系统产生的数据。采用本发明，可以提高飞行的稳定性、安全性以及高效性。
Description
技术领域
本发明涉及飞行器辅助驾驶技术领域，特别是指一种基于多模态生理信号的飞行员辅助驾驶方法及系统。
背景技术
随着科技水平的不断提高，对飞行器及高技术飞行员的需求正在迅速增长。近年来，随着无人机技术的发展，无人驾驶飞行器能够在战斗中用于执行侦查、监视、设置假目标、骚扰与诱惑和电子干扰等任务，并取得了相当好的战果。然而，目前全部无人化驾驶仍然存在一定的难点问题需要突破。因此，如何使用智能机器人系统辅助飞行员驾驶，突破基于多模态生理特征的飞行员行为意图预测与人机融合的决策智能增强等关键技术是一个亟待解决的问题。
发明内容
为了解决如何使用智能机器人系统辅助飞行员驾驶，突破基于多模态生理特征的飞行员行为意图预测与人机融合的决策智能增强等问题，本发明实施例提供了一种基于多模态生理信号的飞行员辅助驾驶方法及系统。
为解决上述技术问题，本发明提供如下所述技术方案如下：
一方面，提供了一种基于多模态生理信号的飞行员辅助驾驶方法，所述方法由基于多模态生理信号的飞行员辅助驾驶系统实现，所述系统包括人机协同任务分配决策系统、多模态生理信号识别系统、控制系统、硬件视景系统、数据管理系统；所述方法包括：
所述多模态生理信号识别系统获取飞行员的生理数据以及环境感知信息，根据所述生理数据以及所述环境感知信息获取理性动作决策建议，将所述理性动作决策建议发送至所述人机协同任务分配决策系统；
所述人机协同任务分配决策系统根据获取到的所述理性动作决策建议，确定运动指令，将所述运动指令发送给所述控制系统，使得所述控制系统通过所述运动指令控制飞行器进行运动；
所述多模态生理信号识别系统将所述理性动作决策建议以及所述环境感知信息发送至所述硬件视景系统，所述硬件视景系统通过所述理性动作决策建议以及所述环境感知信息确定飞行环境数据，并将所述飞行环境数据显示给所述飞行员；
所述数据管理系统存储各系统产生的数据。
可选地，所述多模态生理信号识别系统包括多模态生理特征的行为意图预测模块、人机融合交互决策增强模块以及自主环境感知与态势认知模块；
所述多模态生理信号识别系统获取飞行员的生理数据以及环境感知信息，根据所述生理数据以及所述环境感知信息获取理性动作决策建议，将所述理性动作决策建议发送至所述人机协同任务分配决策系统，包括：
所述行为意图预测模块实时感知飞行员的指令状态与认知特征模型、以及确定行为与动作决策的预测，将所述飞行员的指令状态与认知特征模型传递至所述人机融合交互决策增强模块，将行为与动作决策的预测传递至所述自主环境感知与态势认知模块；其中，所述生理数据包括指令状态与认知特征模型；
所述自主环境感知与态势认知模块将获取的环境感知信息输送至人机融合交互决策增强模块；
所述人机融合交互决策增强模块根据所述飞行员的指令状态与认知特征模型、以及所述环境感知信息，得出理性动作决策建议，并将所述理性动作决策建议发送至人机协同任务分配决策系统。
可选地，所述人机协同任务分配决策系统根据获取到的所述理性动作决策建议，确定运动指令，包括：
所述人机协同任务分配决策系统获取飞行器的硬件状态数据以及飞行器内外环境数据；
所述人机协同任务分配决策系统通过所述飞行器的硬件状态数据以及飞行器内外环境数据，判断获取到的所述理性动作决策建议是否适合执行；
如果判断结果为适合执行，则按照所述理性动作决策建议确定所述运动指令；
如果判断结果为不适合执行，则人机协同任务分配决策系统按照所述飞行器的硬件状态数据以及飞行器内外环境数据确定所述运动指令。
可选地，所述飞行环境数据，包括：
GPS数据、飞行轨迹数据、飞行器姿态数据、控制率以及飞行器内外环境模拟数据。
可选地，所述数据管理系统存储各系统产生的数据，包括：
所述数据管理系统存储态势感知模块数据、硬件视景模块数据、多模态生理特征数据、策略生成模块数据以及多自由度机械臂模块数据。
另一方面，提供了一种基于多模态生理信号的飞行员辅助驾驶系统，该系统用于实现基于多模态生理信号的飞行员辅助驾驶方法，所述系统包括人机协同任务分配决策系统、多模态生理信号识别系统、控制系统、硬件视景系统、数据管理系统；
所述多模态生理信号识别系统，用于获取飞行员的生理数据以及环境感知信息，根据所述生理数据以及所述环境感知信息获取理性动作决策建议，将所述理性动作决策建议发送至所述人机协同任务分配决策系统；
所述人机协同任务分配决策系统，用于根据获取到的所述理性动作决策建议，确定运动指令，将所述运动指令发送给所述控制系统；
所述控制系统，用于通过所述运动指令控制飞行器进行运动；
所述多模态生理信号识别系统，用于将所述理性动作决策建议以及所述环境感知信息发送至所述硬件视景系统，所述硬件视景系统通过所述理性动作决策建议以及所述环境感知信息确定飞行环境数据，并将所述飞行环境数据显示给所述飞行员；
所述数据管理系统，用于存储各系统产生的数据。
可选地，所述多模态生理信号识别系统包括多模态生理特征的行为意图预测模块、人机融合交互决策增强模块以及自主环境感知与态势认知模块；
所述多模态生理信号识别系统获取飞行员的生理数据以及环境感知信息，根据所述生理数据以及所述环境感知信息获取理性动作决策建议，将所述理性动作决策建议发送至所述人机协同任务分配决策系统，包括：
所述行为意图预测模块实时感知飞行员的指令状态与认知特征模型、以及确定行为与动作决策的预测，将所述飞行员的指令状态与认知特征模型传递至所述人机融合交互决策增强模块，将行为与动作决策的预测传递至所述自主环境感知与态势认知模块；其中，所述生理数据包括指令状态与认知特征模型；
所述自主环境感知与态势认知模块将获取的环境感知信息输送至人机融合交互决策增强模块；
所述人机融合交互决策增强模块根据所述飞行员的指令状态与认知特征模型、以及所述环境感知信息，得出理性动作决策建议，并将所述理性动作决策建议发送至人机协同任务分配决策系统。
可选地，所述人机协同任务分配决策系统，进一步用于：
所述人机协同任务分配决策系统获取飞行器的硬件状态数据以及飞行器内外环境数据；
所述人机协同任务分配决策系统通过所述飞行器的硬件状态数据以及飞行器内外环境数据，判断获取到的所述理性动作决策建议是否适合执行；
如果判断结果为适合执行，则按照所述理性动作决策建议确定所述运动指令；
如果判断结果为不适合执行，则人机协同任务分配决策系统按照所述飞行器的硬件状态数据以及飞行器内外环境数据确定所述运动指令。
可选地，所述飞行环境数据，包括：
GPS数据、飞行轨迹数据、飞行器姿态数据、控制率以及飞行器内外环境模拟数据。
可选地，所述数据管理系统，进一步用于：
所述数据管理系统存储态势感知模块数据、硬件视景模块数据、多模态生理特征数据、策略生成模块数据以及多自由度机械臂模块数据。
本实用新型实施例的上述技术方案至少具有如下有益效果：
本发明实施例中，多自由度机械臂可以通过感知系统，实时观测驾驶仓内外物理环境以及飞行员生理数据，分析当前环境状况，经由人机协同任务分配决策系统对机械臂操作策略进行规划，控制机械臂按照预定动作运行，实现包括但不限于解除警报，操作节流阀，操作控制面板等功能。特别在紧急状况下通过地面站人员或者飞行员可以解除机械臂的辅助驾驶，进而提高飞行的稳定性、安全性以及高效性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的一种基于多模态生理信号的飞行员辅助驾驶方法流程图；
图1b是本发明实施例提供的一种基于多模态生理信号的飞行员辅助驾驶方法的架构示意图；
图2是本发明实施例提供的一种行为意图预测模块的处理流程图；
图3是本发明实施例提供的一种机械臂控制流程图；
图4是本发明实施例提供的一种数据管理系统的架构示意图；
图5是本发明实施例提供的一种基于多模态生理信号的飞行员辅助驾驶系统架构图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明实施例提供了一种基于多模态生理信号的飞行员辅助驾驶方法，该方法由基于多模态生理信号的飞行员辅助驾驶系统实现，该系统包括人机协同任务分配决策系统、多模态生理信号识别系统、控制系统、硬件视景系统、数据管理系统。如图1a所示的基于多模态生理信号的飞行员辅助驾驶方法流程图，如图1b所示的基于多模态生理信号的飞行员辅助驾驶方法的架构示意图，该方法的处理流程可以包括如下的步骤：
步骤101、多模态生理信号识别系统获取飞行员的生理数据以及环境感知信息，根据生理数据以及环境感知信息获取理性动作决策建议，将理性动作决策建议发送至人机协同任务分配决策系统。
其中，多模态生理信号识别系统包括多模态生理特征的行为意图预测模块、人机融合交互决策增强模块以及自主环境感知与态势认知模块。
上述步骤101包括下述步骤1011-1015：
步骤1011、行为意图预测模块实时感知飞行员的指令状态与认知特征模型、以及确定行为与动作决策的预测。
其中，行为意图预测模块包括但不限于脑电采集子系统和/或肌肉电采集子系统、脑电数据显示记录子系统、脑电处理子系统、数据传输子模块。另外，行为意图预测模块还可以包括手动指令采集模块，这种情况下，飞行员可以手动输入指令。
一种可行的实施方式中，行为意图预测模块通过脑电采集子系统或者肌肉电采集子系统，采集飞行员的生理状态、指令、认知、意图等信息，通过脑电处理子系统对脑电进行处理，处理操作主要包括预处理、特征提取、特征分类，生成指令装填与认知特征模型、以及行为与动作决策的预测，通过数据传输子模块将确定的信息传输给其他模块，通过脑电数据显示记录子系统可以显示飞行员的脑电数据。
具体地，行为意图预测模块的处理过程可以如图2所示：加载接口参数配置文件，然后通过参数校准子模块进行参数校准，通过脑电采集子系统采集飞行员的脑电数据，将脑电数据存储在脑电数据显示记录子系统中，并通过该子系统进行显示；通过行为意图识别模块对采集到的脑电数据进行整合。而后系统可以判断是否退出，如果不退出，则重复通过脑电采集子系统采集飞行员的脑电数据；如果判断为退出，则退出系统。
可选地，上述脑电采集子系统可以是现有技术中常用的脑电放大器，该仪器外形大小为210×170×40mm，使用USB接口对设备供电，支持热插拔技术，具备阻抗检测功能，设备的分辨率是0.5微伏，采样率是1000Hz，时间常数可选择0.03s、0.1s、0.3s，高频滤波可选择15Hz、30Hz、45Hz、60Hz和120Hz，该设备可以满足本发明实施例所需要的功能。电极的使用位置是10-20国际标准导联，包含十个通道(Fz,Cz,Pz,Oz,P3,P4,P7,P8,O1,O2)和作为参考电极的左右耳部A11、A12。将得到的十二个通道的脑电数据，进行数据处理和分类。
步骤1012、将飞行员的指令状态与认知特征模型传递至人机融合交互决策增强模块。
步骤1013、将行为与动作决策的预测传递至自主环境感知与态势认知模块。
步骤1014、自主环境感知与态势认知模块将获取的环境感知信息输送至人机融合交互决策增强模块。
步骤1015、人机融合交互决策增强模块根据飞行员的指令状态与认知特征模型、以及环境感知信息，得出理性动作决策建议，并将理性动作决策建议发送至人机协同任务分配决策系统。
一种可行的实施方式中，人机融合交互决策增强模块获取到环境感知信息后，根据环境感知信息以及飞行员的指令状态与认知特征模型，得出理性动作决策建议，例如，判断是否可以对物体进行跟踪等行动，尽量避免地面不利地势，管制区域等，提示飞行员在跟踪任务中使得目标尽量保持在较好的视野范围内，防止丢失等。
步骤102、人机协同任务分配决策系统根据获取到的理性动作决策建议，确定运动指令，将运动指令发送给控制系统。
一种可行的实施方式中，上述步骤102包括以下步骤1021-1024：
步骤1021、人机协同任务分配决策系统获取飞行器的硬件状态数据以及飞行器内外环境数据。
步骤1022、人机协同任务分配决策系统通过飞行器的硬件状态数据以及飞行器内外环境数据，判断获取到的理性动作决策建议是否适合执行。
步骤1023、如果判断结果为适合执行，则按照理性动作决策建议确定运动指令。
一种可行的实施方式中，如果人机协同任务分配决策系统通过对比理性动作决策是否合适当前的环境，如果判断合适，则按照理性动作决策建议确定运动指令，也就是说，这种情况下，飞行器可以按照飞行员的脑电指令、肌肉电指令、或者手动输入的指令进行飞行。
步骤1024、如果判断结果为不适合执行，则人机协同任务分配决策系统按照飞行器的硬件状态数据以及飞行器内外环境数据确定运动指令。
一种可行的实施方式中，如果人机协同任务分配决策系统判断飞行员指令不符合当前的环境情况，则人机协同任务分配决策系统按照飞行器的硬件状态数据以及飞行器内外环境数据确定运动指令。这样，可以减少飞行员发出错误的指令。而且，当飞行员无法发出指令时，如发生某些紧急情况的时候，人机协同任务分配决策系统可以根据当前环境确定合适的运动指令进行自动驾驶。
步骤103、控制系统通过运动指令控制飞行器进行运动。
其中，控制系统包括多自由度机械臂。
一种可行的实施方式中，控制系统可以包括手动控制模式模块以及自动控制模式模块。手动控制模式模块是由飞行员手动操纵机械臂进行位置移动的模式模块。
自动控制模式模块包括指令解析子模块、路径规划与轨迹生成子模块、碰撞检测子模块和机器人控制模块构成，在此模式下，指令解析子模块用于将决策系统中的运动指令解析为机器人控制指令，以便于控制机器人驾驶飞行器，路径规划与轨迹生成模块用于生成机器人末端在工作空间下可行轨迹，碰撞检测模块用于检测机器人在运动中过程中是否会发生自碰撞或环境碰撞。
具体地，机械臂控制流程可以如图3所示：载入配置参数进行系统自检，接收决策指令或者手动操作指令，对指令进行解析，生成路径规划与轨迹，进行碰撞检测，对机械臂进行运动控制。而后可以判断系统是否退出，如果系统不退出，则重复执行指令解析，如果判断为退出，则系统退出。
步骤104、多模态生理信号识别系统将理性动作决策建议以及环境感知信息发送至硬件视景系统，硬件视景系统通过理性动作决策建议以及环境感知信息确定飞行环境数据，并将飞行环境数据显示给飞行员。
一种可行的实施方式中，硬件视景系统用于模拟飞行器座舱的真实物理环境以及复杂地面环境，硬件视景系统可以包括但不限于：多台液晶显示器、脚舵、节流阀、操纵杆、可调节支架、电压转换器、交换机、数据储存计算机、机器人控制计算机、仿真系统计算机、视景计算机、脑电信号处理计算机、脑电专用放大器，其中，多台液晶显示器可以包括三台用于显示视景的液晶显示器以及实现单独仪表面板显示的液晶显示器。
硬件视景系统接收到理性动作决策建议以及环境感知信息，通过上述设备生成飞行器的飞行环境数据，包括GPS数据、飞行轨迹数据、飞行器姿态数据、控制率以及飞行器内外环境模拟数据等，通过液晶显示器显示相应的飞行环境数据。
步骤105、数据管理系统存储各系统产生的数据。
一种可行的实施方式中，数据管理系统存储各系统产生的数据，如图4所示，可以包括态势感知模块数据、硬件视景模块数据、多模态生理特征数据、策略生成模块数据以及多自由度机械臂模块数据。
态势感知模块数据包含模糊参数输入子模块、参数修改子模块、参数查询子模块以及配置文件输出子模块。其中，模糊参数输入子模块用于将包含所有参数的数据或配置文件导入态势感知模块中；参数查询子模块用于地面站人员在操作过程中快速找到需要数据；配置文件输出子模块：用于将所有参数统一输出生成用于态势感知模块参数的配置文件。
硬件视景模块数据包含GPS数据子模块、飞行轨迹数据子模块、飞行器姿态数据子模块、控制率子模块。其中，GPS数据子模块用于记录飞行过程中飞行器自身的位置信息；飞行轨迹数据子模块用于观测记录飞行过程中飞行器飞行的路径轨迹；飞行器姿态数据子模块用于观测记录试验过程中飞行器的飞行姿态数据；控制率子模块用于评判飞行过程中操作的有效性。
多自由度机械臂模块数据包含机械臂数据解析子模块、传感器数据解析子模块、路径数据子模块、参数修改子模块，历史记录查询子模块，位姿数据子模块。其中，机械臂数据解析子模块用于选择需要的单个机器人运动数据包进行解析；传感器数据解析子模块用于对飞行过程中传感器采集到的数据进行解析；路径数据子模块用于飞行过程中协作机器人的运动数据收集；参数修改子模块用于对飞行过程中机器人数据进行修改、添加、删除等操作；历史记录查询子模块用于根据事件标签查看以往飞行过程中的机械臂数据以及传感器数据；位姿数据子模块用于记录飞行过程中多自由度机械臂的位置数据以及姿态数据。
策略生成模块数据包括数据解析子模块、参数修改子模块、参数查询子模块以及历史记录查询子模块。
多模态生理特征数据包括数据采集子模块、指令记录子模块、参数查询子模块以及历史记录查询子模块。
下面以飞行员通过基于多模态生理信号的飞行员辅助驾驶系统控制飞行器的实例进行说明：
步骤1，飞行员进入带有机械臂控制平台的驾驶舱，正确佩戴好生理信号采集系统，如脑电采集系统，准备执行战场的特定任务，如对敌方区域进行侦查、监视或者打击。
步骤2，人机协同任务分配决策系统将自身的位置、与相邻敌机或友机直接的位置关系等信息都发送至人机交互系统的显示器上，在通讯带通允许的情况下，能够传回现场图片，以方便脑控飞行员决策。
步骤3，脑控飞行员根据战场信息(反馈回来的状态和环境信息以及驾驶员自身可观测到的信息)进行最优判断，通过注视屏幕上的相应刺激即可输出相应的生理信号。
步骤4，脑-机接口系统采集决策者脑电信号，进行处理，得出相应命令，可以改变机械臂的控制模式。
步骤5，脑控飞行员在选择好控制模式后，即可进行进一步的控制。
其中，步骤3中，通过注视屏幕上的相应刺激即可输出相应的脑电信号，可以是通过获取脑控驾驶员左右眼睛的闭眼和睁眼动作产生对应的脑电信号，以及获取基于稳态视觉诱发电位(SSVEP)的脑电信号。
进一步的，步骤4中包括实时控制模式和手动控制模式。在实时控制模式中，能够执行控制机械臂移动、操作按钮、解除警报等任务。在手动模式中，能够因为系统受损避免干扰飞行员操作。
此外，在具体控制任务中，脑控飞行员只需要重复步骤3至步骤5操作即可。若脑控飞行员在选择模式功能后想返回上一级选择界面，比如可以通过咬牙1s，松开1s，重复上述过程5次的方法等方法来使系统终止当前运动模式，并重新返回上一级选择界面。
本发明实施例中，多自由度机械臂可以通过感知系统，实时观测驾驶仓内外物理环境以及飞行员生理数据，分析当前环境状况，经由人机协同任务分配决策系统对机械臂操作策略进行规划，控制机械臂按照预定动作运行，实现包括但不限于解除警报，操作节流阀，操作控制面板等功能。特别在紧急状况下通过地面站人员或者飞行员可以解除机械臂的辅助驾驶，进而提高飞行的稳定性、安全性以及高效性。
本发明实施例提供了一种基于多模态生理信号的飞行员辅助驾驶系统，该系统用于实现上述基于多模态生理信号的飞行员辅助驾驶方法。如图5所示的基于多模态生理信号的飞行员辅助驾驶系统架构图，该系统包括人机协同任务分配决策系统、多模态生理信号识别系统、控制系统、硬件视景系统、数据管理系统，其中：
所述多模态生理信号识别系统，用于获取飞行员的生理数据以及环境感知信息，根据所述生理数据以及所述环境感知信息获取理性动作决策建议，将所述理性动作决策建议发送至所述人机协同任务分配决策系统；
所述人机协同任务分配决策系统，用于根据获取到的所述理性动作决策建议，确定运动指令，将所述运动指令发送给所述控制系统；
所述控制系统，用于通过所述运动指令控制飞行器进行运动；
所述多模态生理信号识别系统，用于将所述理性动作决策建议以及所述环境感知信息发送至所述硬件视景系统，所述硬件视景系统通过所述理性动作决策建议以及所述环境感知信息确定飞行环境数据，并将所述飞行环境数据显示给所述飞行员；
所述数据管理系统，用于存储各系统产生的数据。
可选地，所述多模态生理信号识别系统包括多模态生理特征的行为意图预测模块、人机融合交互决策增强模块以及自主环境感知与态势认知模块；
所述多模态生理信号识别系统获取飞行员的生理数据以及环境感知信息，根据所述生理数据以及所述环境感知信息获取理性动作决策建议，将所述理性动作决策建议发送至所述人机协同任务分配决策系统，包括：
所述行为意图预测模块实时感知飞行员的指令状态与认知特征模型、以及确定行为与动作决策的预测，将所述飞行员的指令状态与认知特征模型传递至所述人机融合交互决策增强模块，将行为与动作决策的预测传递至所述自主环境感知与态势认知模块；其中，所述生理数据包括指令状态与认知特征模型；
所述自主环境感知与态势认知模块将获取的环境感知信息输送至人机融合交互决策增强模块；
所述人机融合交互决策增强模块根据所述飞行员的指令状态与认知特征模型、以及所述环境感知信息，得出理性动作决策建议，并将所述理性动作决策建议发送至人机协同任务分配决策系统。
可选地，所述人机协同任务分配决策系统，进一步用于：
所述人机协同任务分配决策系统获取飞行器的硬件状态数据以及飞行器内外环境数据；
所述人机协同任务分配决策系统通过所述飞行器的硬件状态数据以及飞行器内外环境数据，判断获取到的所述理性动作决策建议是否适合执行；
如果判断结果为适合执行，则按照所述理性动作决策建议确定所述运动指令；
如果判断结果为不适合执行，则人机协同任务分配决策系统按照所述飞行器的硬件状态数据以及飞行器内外环境数据确定所述运动指令。
可选地，所述飞行环境数据，包括：
GPS数据、飞行轨迹数据、飞行器姿态数据、控制率以及飞行器内外环境模拟数据。
可选地，所述数据管理系统，进一步用于：
所述数据管理系统存储态势感知模块数据、硬件视景模块数据、多模态生理特征数据、策略生成模块数据以及多自由度机械臂模块数据。
本发明实施例中，多自由度机械臂可以通过感知系统，实时观测驾驶仓内外物理环境以及飞行员生理数据，分析当前环境状况，经由人机协同任务分配决策系统对机械臂操作策略进行规划，控制机械臂按照预定动作运行，实现包括但不限于解除警报，操作节流阀，操作控制面板等功能。特别在紧急状况下通过地面站人员或者飞行员可以解除机械臂的辅助驾驶，进而提高飞行的稳定性、安全性以及高效性。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于多模态生理信号的飞行员辅助驾驶方法，其特征在于，所述方法由基于多模态生理信号的飞行员辅助驾驶系统实现，所述系统包括人机协同任务分配决策系统、多模态生理信号识别系统、控制系统、硬件视景系统、数据管理系统；所述方法包括：
所述多模态生理信号识别系统获取飞行员的生理数据以及环境感知信息，根据所述生理数据以及所述环境感知信息获取理性动作决策建议，将所述理性动作决策建议发送至所述人机协同任务分配决策系统；
所述人机协同任务分配决策系统根据获取到的所述理性动作决策建议，确定运动指令，将所述运动指令发送给所述控制系统，使得所述控制系统通过所述运动指令控制飞行器进行运动；
所述多模态生理信号识别系统将所述理性动作决策建议以及所述环境感知信息发送至所述硬件视景系统，所述硬件视景系统通过所述理性动作决策建议以及所述环境感知信息确定飞行环境数据，并将所述飞行环境数据显示给所述飞行员；
所述数据管理系统存储各系统产生的数据。
2.根据权利要求1所述的方法，其特征在于，所述多模态生理信号识别系统包括多模态生理特征的行为意图预测模块、人机融合交互决策增强模块以及自主环境感知与态势认知模块；
所述多模态生理信号识别系统获取飞行员的生理数据以及环境感知信息，根据所述生理数据以及所述环境感知信息获取理性动作决策建议，将所述理性动作决策建议发送至所述人机协同任务分配决策系统，包括：
所述行为意图预测模块实时感知飞行员的指令状态与认知特征模型、以及确定行为与动作决策的预测，将所述飞行员的指令状态与认知特征模型传递至所述人机融合交互决策增强模块，将行为与动作决策的预测传递至所述自主环境感知与态势认知模块；其中，所述生理数据包括指令状态与认知特征模型；
所述自主环境感知与态势认知模块将获取的环境感知信息输送至人机融合交互决策增强模块；
所述人机融合交互决策增强模块根据所述飞行员的指令状态与认知特征模型、以及所述环境感知信息，得出理性动作决策建议，并将所述理性动作决策建议发送至人机协同任务分配决策系统。
3.根据权利要求1所述的方法，其特征在于，所述人机协同任务分配决策系统根据获取到的所述理性动作决策建议，确定运动指令，包括：
所述人机协同任务分配决策系统获取飞行器的硬件状态数据以及飞行器内外环境数据；
所述人机协同任务分配决策系统通过所述飞行器的硬件状态数据以及飞行器内外环境数据，判断获取到的所述理性动作决策建议是否适合执行；
如果判断结果为适合执行，则按照所述理性动作决策建议确定所述运动指令；
如果判断结果为不适合执行，则人机协同任务分配决策系统按照所述飞行器的硬件状态数据以及飞行器内外环境数据确定所述运动指令。
4.根据权利要求1所述的方法，其特征在于，所述飞行环境数据，包括：
GPS数据、飞行轨迹数据、飞行器姿态数据、控制率以及飞行器内外环境模拟数据。
5.根据权利要求1所述的方法，其特征在于，所述数据管理系统存储各系统产生的数据，包括：
所述数据管理系统存储态势感知模块数据、硬件视景模块数据、多模态生理特征数据、策略生成模块数据以及多自由度机械臂模块数据。
6.一种基于多模态生理信号的飞行员辅助驾驶系统，其特征在于，所述系统用于实现基于多模态生理信号的飞行员辅助驾驶方法，所述系统包括人机协同任务分配决策系统、多模态生理信号识别系统、控制系统、硬件视景系统、数据管理系统；
所述多模态生理信号识别系统，用于获取飞行员的生理数据以及环境感知信息，根据所述生理数据以及所述环境感知信息获取理性动作决策建议，将所述理性动作决策建议发送至所述人机协同任务分配决策系统；
所述人机协同任务分配决策系统，用于根据获取到的所述理性动作决策建议，确定运动指令，将所述运动指令发送给所述控制系统；
所述控制系统，用于通过所述运动指令控制飞行器进行运动；
所述多模态生理信号识别系统，用于将所述理性动作决策建议以及所述环境感知信息发送至所述硬件视景系统，所述硬件视景系统通过所述理性动作决策建议以及所述环境感知信息确定飞行环境数据，并将所述飞行环境数据显示给所述飞行员；
所述数据管理系统，用于存储各系统产生的数据。
7.根据权利要求6所述的系统，其特征在于，所述多模态生理信号识别系统包括多模态生理特征的行为意图预测模块、人机融合交互决策增强模块以及自主环境感知与态势认知模块；
所述多模态生理信号识别系统获取飞行员的生理数据以及环境感知信息，根据所述生理数据以及所述环境感知信息获取理性动作决策建议，将所述理性动作决策建议发送至所述人机协同任务分配决策系统，包括：
所述行为意图预测模块实时感知飞行员的指令状态与认知特征模型、以及确定行为与动作决策的预测，将所述飞行员的指令状态与认知特征模型传递至所述人机融合交互决策增强模块，将行为与动作决策的预测传递至所述自主环境感知与态势认知模块；其中，所述生理数据包括指令状态与认知特征模型；
所述自主环境感知与态势认知模块将获取的环境感知信息输送至人机融合交互决策增强模块；
所述人机融合交互决策增强模块根据所述飞行员的指令状态与认知特征模型、以及所述环境感知信息，得出理性动作决策建议，并将所述理性动作决策建议发送至人机协同任务分配决策系统。
8.根据权利要求6所述的系统，其特征在于，所述人机协同任务分配决策系统，进一步用于：
所述人机协同任务分配决策系统获取飞行器的硬件状态数据以及飞行器内外环境数据；
所述人机协同任务分配决策系统通过所述飞行器的硬件状态数据以及飞行器内外环境数据，判断获取到的所述理性动作决策建议是否适合执行；
如果判断结果为适合执行，则按照所述理性动作决策建议确定所述运动指令；
如果判断结果为不适合执行，则人机协同任务分配决策系统按照所述飞行器的硬件状态数据以及飞行器内外环境数据确定所述运动指令。
9.根据权利要求6所述的系统，其特征在于，所述飞行环境数据，包括：
GPS数据、飞行轨迹数据、飞行器姿态数据、控制率以及飞行器内外环境模拟数据。
10.根据权利要求6所述的系统，其特征在于，所述数据管理系统，进一步用于：
所述数据管理系统存储态势感知模块数据、硬件视景模块数据、多模态生理特征数据、策略生成模块数据以及多自由度机械臂模块数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110962284.2A CN113778113B (zh) | 2021-08-20 | 2021-08-20 | 一种基于多模态生理信号的飞行员辅助驾驶方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110962284.2A CN113778113B (zh) | 2021-08-20 | 2021-08-20 | 一种基于多模态生理信号的飞行员辅助驾驶方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113778113A true CN113778113A (zh) | 2021-12-10 |
| CN113778113B CN113778113B (zh) | 2024-03-26 |
Family
ID=78838372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110962284.2A Active CN113778113B (zh) | 2021-08-20 | 2021-08-20 | 一种基于多模态生理信号的飞行员辅助驾驶方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113778113B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115089190A (zh) * | 2022-08-25 | 2022-09-23 | 上海华模科技有限公司 | 基于模拟机的飞行员多模态生理信号同步采集系统 |
| CN116595429A (zh) * | 2022-12-27 | 2023-08-15 | 北京津发科技股份有限公司 | 驾驶员状态评估方法和系统 |
| CN116820379A (zh) * | 2023-08-31 | 2023-09-29 | 中国电子科技集团公司第十五研究所 | 基于人因工程的装备显示控制方法、服务器及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107516452A (zh) * | 2017-08-17 | 2017-12-26 | 北京航空航天大学 | 一种通用型模拟飞行仿真环境测评系统 |
| US20180039271A1 (en) * | 2016-08-08 | 2018-02-08 | Parrot Drones | Fixed-wing drone, in particular of the flying-wing type, with assisted manual piloting and automatic piloting |
| CN108196566A (zh) * | 2018-03-16 | 2018-06-22 | 西安科技大学 | 一种小型无人机云脑控制系统及其方法 |
| WO2018113392A1 (zh) * | 2016-12-20 | 2018-06-28 | 华南理工大学 | 一种基于脑机接口的机械臂自主辅助系统及方法 |
| CN108945397A (zh) * | 2018-04-24 | 2018-12-07 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 一种飞行驾驶系统 |
| CN109308076A (zh) * | 2017-07-27 | 2019-02-05 | 极光飞行科学公司 | 具有集成成像和力感测模态的机组自动化系统和方法 |
| CN109710063A (zh) * | 2018-12-11 | 2019-05-03 | 中国航空工业集团公司西安航空计算技术研究所 | 一种智能化作战的多模态人机智能交互框架、方法和装置 |
| CN110502103A (zh) * | 2019-05-29 | 2019-11-26 | 中国人民解放军军事科学院军事医学研究院 | 基于脑机接口的脑控无人机系统及其控制方法 |
| WO2019231477A1 (en) * | 2018-05-31 | 2019-12-05 | Gillett Carla R | Robot and drone array |
| US20210178603A1 (en) * | 2019-12-12 | 2021-06-17 | The Boeing Company | Emotional intelligent robotic pilot |
-
2021
- 2021-08-20 CN CN202110962284.2A patent/CN113778113B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180039271A1 (en) * | 2016-08-08 | 2018-02-08 | Parrot Drones | Fixed-wing drone, in particular of the flying-wing type, with assisted manual piloting and automatic piloting |
| WO2018113392A1 (zh) * | 2016-12-20 | 2018-06-28 | 华南理工大学 | 一种基于脑机接口的机械臂自主辅助系统及方法 |
| CN109308076A (zh) * | 2017-07-27 | 2019-02-05 | 极光飞行科学公司 | 具有集成成像和力感测模态的机组自动化系统和方法 |
| CN107516452A (zh) * | 2017-08-17 | 2017-12-26 | 北京航空航天大学 | 一种通用型模拟飞行仿真环境测评系统 |
| CN108196566A (zh) * | 2018-03-16 | 2018-06-22 | 西安科技大学 | 一种小型无人机云脑控制系统及其方法 |
| CN108945397A (zh) * | 2018-04-24 | 2018-12-07 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 一种飞行驾驶系统 |
| WO2019231477A1 (en) * | 2018-05-31 | 2019-12-05 | Gillett Carla R | Robot and drone array |
| CN109710063A (zh) * | 2018-12-11 | 2019-05-03 | 中国航空工业集团公司西安航空计算技术研究所 | 一种智能化作战的多模态人机智能交互框架、方法和装置 |
| CN110502103A (zh) * | 2019-05-29 | 2019-11-26 | 中国人民解放军军事科学院军事医学研究院 | 基于脑机接口的脑控无人机系统及其控制方法 |
| US20210178603A1 (en) * | 2019-12-12 | 2021-06-17 | The Boeing Company | Emotional intelligent robotic pilot |
Non-Patent Citations (3)
| Title |
|---|
| GHOSH, L.; KONAR, A.: ""EEG-Induced Adaptation of Controller Parameter for Closed-Loop Position Control of the End-Effecter in a Robot Arm"", 2019 10TH INTERNATIONAL CONFERENCE ON COMPUTING, COMMUNICATION AND NETWORKING TECHNOLOGIES (ICCCNT) * |
| 丁全心: ""现代空战中的战术辅助决策技术"", 《光电与控制》, vol. 16, no. 12 * |
| 刘爽;朱国栋;: ""基于操作者表现的机器人遥操作方法"", 《机器人》, vol. 40, no. 04 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115089190A (zh) * | 2022-08-25 | 2022-09-23 | 上海华模科技有限公司 | 基于模拟机的飞行员多模态生理信号同步采集系统 |
| CN115089190B (zh) * | 2022-08-25 | 2023-02-28 | 上海华模科技有限公司 | 基于模拟机的飞行员多模态生理信号同步采集系统 |
| CN116595429A (zh) * | 2022-12-27 | 2023-08-15 | 北京津发科技股份有限公司 | 驾驶员状态评估方法和系统 |
| CN116820379A (zh) * | 2023-08-31 | 2023-09-29 | 中国电子科技集团公司第十五研究所 | 基于人因工程的装备显示控制方法、服务器及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113778113B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113778113B (zh) | 一种基于多模态生理信号的飞行员辅助驾驶方法及系统 | |
| EP3459807A1 (en) | System for monitoring an operator | |
| CN106343977B (zh) | 基于多传感器融合的无人机操作员状态监视系统 | |
| Scerbo | Adaptive automation | |
| CN108415554B (zh) | 一种基于p300的脑控机器人系统及其实现方法 | |
| Hudlicka et al. | Assessment of user affective and belief states for interface adaptation: Application to an Air Force pilot task | |
| CN109528157A (zh) | 用于监测飞行员健康的系统和方法 | |
| CN112356841B (zh) | 一种基于脑机交互的车辆控制方法及装置 | |
| CN112051780B (zh) | 一种基于脑机接口的移动机器人编队控制系统及方法 | |
| CN110221620B (zh) | 一种基于mas的多无人系统监督控制站 | |
| Yang et al. | Real-time driver cognitive workload recognition: Attention-enabled learning with multimodal information fusion | |
| CN109540546A (zh) | 一种不安全驾驶行为监控装置的测试系统及测试方法 | |
| CN109196437A (zh) | 智能驾驶方法、装置及存储介质 | |
| US20220374808A1 (en) | Task concatenation and prediction of operator and system response in socio-technical systems using artificial intelligence | |
| CN117876807A (zh) | 基于模拟情境多模态数据的人员状态调节训练方法和装置 | |
| Huo et al. | A BCI-based motion control system for heterogeneous robot swarm | |
| CN113589835B (zh) | 一种基于自主感知的智能机器人飞行员飞行方法及装置 | |
| Wu et al. | Visual attention analysis for critical operations in maritime collision avoidance | |
| Havlikova et al. | A man as the regulator in man-machine systems | |
| CN115951599A (zh) | 基于无人机的驾驶能力测试系统、方法、装置及存储介质 | |
| CN112936259B (zh) | 一种适用于水下机器人的人机协作方法 | |
| Moczulski | Autonomous systems control aided by Virtual Teleportation of remote operator | |
| CN113359689A (zh) | 非结构化环境下人机协同智能导航新技术 | |
| CN114460958A (zh) | 一种基于层级式架构的脑机融合飞行控制系统 | |
| Wu et al. | A camera-based deep-learning solution for visual attention zone recognition in maritime navigational operations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |