CN106343977A - 基于多传感器融合的无人机操作员状态监视系统 - Google Patents

基于多传感器融合的无人机操作员状态监视系统 Download PDF

Info

Publication number
CN106343977A
CN106343977A CN201610837853.XA CN201610837853A CN106343977A CN 106343977 A CN106343977 A CN 106343977A CN 201610837853 A CN201610837853 A CN 201610837853A CN 106343977 A CN106343977 A CN 106343977A
Authority
CN
China
Prior art keywords
unmanned plane
operator
sensor
head
plane operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610837853.XA
Other languages
English (en)
Other versions
CN106343977B (zh
Inventor
牛轶峰
钟志伟
尹栋
相晓嘉
王祥科
李�杰
王菖
贾圣德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201610837853.XA priority Critical patent/CN106343977B/zh
Publication of CN106343977A publication Critical patent/CN106343977A/zh
Application granted granted Critical
Publication of CN106343977B publication Critical patent/CN106343977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Cardiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Developmental Disabilities (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Dentistry (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)

Abstract

一种基于多传感器融合的无人机操作员状态监视系统，包括用于对无人机进行状态监视的多种传感器，用于对各种传感器采集的数据进行处理的计算机以及进行无人机状态显示与控制的显示器；无人机操作员通过显示器了解无人机的状态并对无人机进行控制，多种传感器实时采集无人机操作员的各种状态信息，实现对无人机操作员进行状态监视，各传感器将采集到的状态信息传送给计算机进行数据处理，最终由计算机输出操作员的状态评估结果。该系统可实时评估操作员的工作状态，评估结果将用于计算无人机操作员的决策等级。该系统将有效防止“人不在回路”事件的发生，从而避免飞行事故发生，保证无人机高效、安全的完成使命任务。

Description

基于多传感器融合的无人机操作员状态监视系统
技术领域
本发明涉及无人机系统技术领域，具体涉及一种基于多传感器融合的无人机操作员状态监视系统。
背景技术
近年来随着无人机系统技术的迅猛发展，对无人机任务控制站提出了更高的要求，要求其具备集指挥控制、任务规划、通信管理、情报处理等于一体的综合能力，并且任务控制站不再局限于地面，还可以部署在空中、海面甚至是有人机。未来无人机任务控制站不仅能够控制同型号的单架无人机或无人机群，还将能够控制不同型号的无人机联合机群，包括控制无人机协同有人机完成特定任务。同时，任务控制站向用更少的指挥人员控制更多数量的无人机平台方向发展(低人机比)，达到一人控制多架无人机的目标。虽然近年来无人机已具有较强的智能化水平和自主控制能力，开始由“人在回路中”(man-in-the-loop)的交互控制向“人在回路上”(man-on-the-loop)的监督控制(Supervisory Control)方向发展，但在执行任务过程中任务控制站操作员仍然拥有无人机操控的最终决定权，其作战使用也离不开人的指挥控制。随着传感器和数据链性能的不断提升，海量的信息显示及控制需求使任务控制站操作员的工作负荷和操作难度增大，对于人机协同态势感知提出了更大的挑战，并极容易导致操作员误判和误操作，从而导致事故的发生。
在无人机监督控制的概念中，无人机的飞行控制是自主的，操作员主要参与规划、问题求解以及意外事件(例如：突发威胁、目标变化、天气变化、系统故障等)的处理。在具备“一对多”控制能力的多无人机监督控制系统中，应当坚持以操作员的信息需求为中心，通过操作员与控制站辅助决策系统之间的相互协作，适时变换控制权限，完成四类基本功能：任务分配、航迹规划、目标识别、武器攻击授权等。任务执行时，二者所扮演的角色和作用分别表述如下：一方面，辅助决策系统的辅助决策、态势感知能力以及平台自主执行任务的能力(例如：目标分配和航迹规划)，将有助于减少操作员的工作负担，扩大操作员的控制范围，为实现多无人机监督控制奠定基础。另一方面，人类的监督给系统注入了灵活性和创造性，能够充分发挥人的主观能动性和决策能力。同时，不确定情况下的管理也能够有效弥补智能组件系统的缺陷，保证任务的顺利完成。
因而设计一种能够实时的掌握无人机操作员的工作状态，避免“人不在回路”事件的发生，保证高效、安全的完成使命任务，为更好的无人机监督控制提供依据的无人机操作员状态监视系统是本领域所亟需的。
发明内容
本发明从人机交互的实时性、准确性角度出发，提出了一种基于多传感器融合的无人机操作员状态监视系统。
一种基于多传感器融合的无人机操作员状态监视系统，包括用于对无人机进行状态监视的多种传感器，用于对各种传感器采集的数据进行处理的计算机以及进行无人机状态显示与控制的显示器；无人机操作员通过显示器了解无人机的状态并对无人机进行控制，多种传感器实时采集无人机操作员的各种状态信息，实现对无人机操作员进行状态监视，各传感器将采集到的状态信息传送给计算机进行数据处理，最终由计算机输出操作员的状态评估结果。
所述计算机内加载有提取各传感器采集的特征数据、数据预处理以及特征融合的算法软件，首先对各个传感器的数据进行量化，特征检测，根据不同的传感器进行不同的预处理，然后对这些特征进行多传感器的数据融合，接着输出操作员的工作状态评估结果，最后给出人机交互中操作员的决策等级，以此反馈到操作员，提醒其当前最佳工作状态等级。
所述传感器包括测量无人机操作员的姿态、面部表情的体感传感器，进行无人机操作员的眼睛跟踪和眼睛疲劳检测的眼动仪传感器，测量无人机操作员心情、任务负荷度、身体状态的心率传感器以及体温传感器，通过这些传感器对无人机操作员的姿态、眼睛、面部表情、心率、体温的实时测量可分析其当前的状态、行为和注意力。其中体感传感器和眼动仪传感器将采集的信号通过有线信号传输给计算机。心率传感器和体温传感器将采集的信息通过蓝牙或者无线信号传输给计算机。
测量无人机操作员的姿态、面部表情的体感传感器为交互式传感器，可以采用微软Kinect，华硕的Xtion，以及RealSense，Prime等。
鉴于在图像中直接识别眼睛的准确性不高，进行无人机操作员的眼睛跟踪和眼睛疲劳检测的眼动仪传感器采用固定在显示器屏幕上的Tobii eyeX眼动仪，或者ASL公司的头盔式眼动仪。
心率变异性(Heart Rate Variability,HRV)与人的负荷水平、疲劳程度有关，主要用心率传感器进行测量。情绪会导致人体内部的化学变化，从而产生不同的热量分布，通过体温传感器测量无人机操作员身不同位置的体温获得无人机操作员身体的热量分布图，通过对热量分布图进行分析获知无人机操作员的心情状态。
当无人机操作员处在不同的心情状态时，其面部表情和体温也会处于不同的状态；当操作员疲劳时，眼动仪检测眼睛的闭合时间增加，HRV指数升高，头部的摆动频率也可能增加；当操作员注意力不集中时，眼睛的注意力会降低。该系统实时掌握操作员的工作状态，输出无人机操作员的决策等级，从而避免飞行事故发生，保证高效、安全的完成使命任务，为无人机“一对多”监督控制提供依据。
无人机操作员面对着显示器工作，当无人机操作员任务负荷过重或者处于长时间工作状态时，其疲劳度会增加，表现为眼睛的闭合时间增加，心率变化增加。当无人机操作员处在不同的心情状态时，其面部表情会处于不同的状态，并且其身体的热量分布也会处于不同的状态，通过对面部表情和体温的测量，可以综合判断无人机操作员的情绪状态。对无人机操作员姿态、眼睛跟踪的实时测量可分析出操作员当前的行为和注意力。该系统可实时评估操作员的工作状态，评估结果将用于计算无人机操作员的决策等级，从而避免“人不在回路”(man-out-of-the-loop)事件的发生，保证高效、安全的完成使命任务，为更好的无人机监督控制提供依据。
本发明中通过体感传感器检测无人机操作员的姿态，其姿态识别采用深度图像的识别，深度图像主要由体感传感器Kinect或Xtion等提供。利用深度传感中的骨架识别部分对人体姿态进行识别，本发明主要识别头部的位置。设头部的位置Head(x,y,z)，脖子的位置为Neck(x,y,z)，头部的水平姿态为
αH＝atan((Neckx-Headx)/(Necky-Heady)) (1)
头部的俯仰姿态为
βH＝atan((Neckz-Headz)/(Necky-Heady)) (2)
对于无人机操作人员，如果头部位置超过设定的阈值即Headmin(x,y,z)＜Head(x,y,z)＜Headmax(x,y,z)，则判断无人机操作员不在视场的中心位置，如果低头或者抬头超过设定的阈值时即βH＞Tmax或者βH＜Tmin，则无人机操作员可能低头过多或者抬头过多，无人机任务控制站会给操作人员提示，降低的无人机操作员的处理任务负担，同时提高控制站自动化处理能力的等级。
本发明中通过体感传感器检测无人机操作员的面部表情，面部表情识别同样采用可见光图像的识别，首先通过已经采用Adaboost训练的人脸库，进行人脸位置的识别，然后识别人脸表情，进而理解和把握人的情绪。人脸表情的识别主要是通过人面部表情的相关几何特征，例如五官的相互位置之间的变化，对这些相互位置关系进行细致的定位和测量，得到形状、大小、间距、相互比例等特征来进行识别。当人惊恐的时候，嘴巴上的特征点会张开，眼睛上的特征点也会向上动。
本发明中通过眼动仪传感器实现无人机操作员的眼动跟踪、眼睛疲劳检测，该设备的原理是采用主动式红外激光发射器，通过激光打到眼球反射回设备，并进行检测识别位置定位，眼动跟踪主要采用中值滤波对眼睛跟踪坐标点进行滤波，然后采用Kalman滤波对坐标点进行预测跟踪，眼睛疲劳度检测采用PERCLOS指标，即单位时间内眼睛闭合的次数，对眼睛进行疲劳度检测。
本发明中通过心率传感器和体温传感器测量无人机操作员的心情以及身体状态。心率传感器主要通过测量操作员实时的心率值，通过一段时间内心率值的低频和高频数据的比值，估计操作员当前的身体状态；体温传感器测量身体10个以上部位的温度值，然后根据身体部位的温度值，与数据库中的心情和身体状态值比较，估计操作员当前的身体状态和心情。
当无人机操作员处理负载过重或者长时间工作时，其眼睛的闭合时间增加，心率变化增加；当无人机操作员处在不同的心情状态时，面部表情和体温也会处于不同的状态；当操作员状态不佳的时候，头部姿态也会表现一定的变化；当操作员处理其它非操作席的事务时，操作员可能表现的较大的偏头或者低头等。操作员辅助决策等级依据Sheridan和Verplank提出的分类法(SV-LOA)决策等级，根据该决策等级对并对相应的状态进行描述。利用上述的各种传感器测量指标进行归一化量化，对数据进行融合，输出操作员辅助决策等级。以此反馈到操作员，提醒其当前最佳工作状态等级。
附图说明
图1系统总体流程图，
图2为系统装置总体结构图，
图3为交互式传感器姿态识别图，
图4为不同心情下的体温变化图，
图5为眼睛闭合检测示意图，t1为眼睛的闭合时间，
图6为PERCLOS值与心率低频高频比随时间变化的趋势图，
图7为操作员心情、注意力、头部动作频率状态随时间变化的曲线图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步说明。
本发明旨在设计一种基于多传感器融合的无人机操作员状态监视系统。该系统可实时评估操作员的工作状态，评估结果将用于计算无人机操作员的决策等级，从而避免“人不在回路”(man-out-of-the-loop)事件的发生，保证高效、安全的完成使命任务，为更好的无人机监督控制提供依据。
下面根据图1-7说明本方法的具体实施方式。
图1为系统总体流程图，包括用于对无人机进行状态监视的多种传感器，用于对各种传感器采集的数据进行处理的计算机105以及进行无人机状态显示与控制的显示器102。多种传感器包括测量无人机操作员的姿态、面部表情的体感传感器100，进行无人机操作员的眼睛跟踪和眼睛疲劳检测的眼动仪传感器101，测量无人机操作员心情、任务负荷度、身体状态的心率传感器103以及体温传感器104，通过这些传感器对无人机操作员的姿态、眼睛、面部表情、心率、体温的实时测量可分析其当前的状态、行为和注意力。其中体感传感器和眼动仪传感器将采集的信号通过有线信号传输给计算机。心率传感器和体温传感器将采集的信息通过蓝牙或者无线信号传输给计算机。通过这些传感器对无人机操作员姿态、眼睛、面部表情、心率、体温的实时测量可分析其当前的状态、行为和注意力。
无人机操作员通过显示器了解无人机的状态并对无人机进行控制，多种传感器实时采集无人机操作员的各种状态信息，实现对无人机操作员进行状态监视，各传感器将采集到的状态信息传送给计算机进行数据处理，最终由计算机输出操作员的状态评估结果。
所述计算机内加载有对各传感器采集的数据进行特征提取、数据预处理以及特征融合的算法软件，首先对各个传感器的数据进行量化，特征检测，根据不同的传感器进行不同的预处理，然后对这些特征进行多传感器的数据融合，接着输出操作员的工作状态评估结果，最后给出人机交互中操作员的决策等级，以此反馈到操作员，提醒其当前最佳工作状态等级。
图2为系统装置总体结构图。系统包括为无人机操作人员提供人员状态监督的各种传感器，各种传感器包括测量姿态、面部表情的体感传感器100，眼睛跟踪或者眼睛疲劳检测的眼动仪传感器101，用于检测心情、工作负荷度的心率传感器103及体温传感器104。体感传感器100安装在显示器的上面，更好的测量操作员的手势或者头部动作，眼动仪传感器101主要是测量人眼睛的方位和眼睛的疲劳度，因此也安装在显示器的上面，为减少装置对操作员的影响，心率传感器103可以以手环的形式，体温传感器104为穿戴方式，采用阵列方式安置于操作员身体不同部位。该装置既可以适用于地面站，也适用于有人机座舱。
图3为交互式传感器骨架识别和手势识别图，(a)为Kinect姿态识别图，(b)为华硕Xtion姿态识别图。无人机操作员的姿态识别主要识别其头部和身体的各个部分。姿态识别可以根据人的某些行为去判断操作人员当前的状态。如人在疲劳状态下容易瞌睡，表现为头部的摇动或者低头，当操作人员头部的摇动或者低头操作一定的阈值时，系统会给操作人员提示或者降低的人的处理任务负担。通过姿态的识别也可以识别当前手的位置，判断操作员是否去处理其它的事情。
图4为不同心情下的不同身体部位的体温图。可穿戴式体温传感器通过检测操作员身体的多个点的温度，估计操作员处理某种情绪状态。据英国《每日邮报》，一支来自芬兰的科研小组对700名志愿者进行了实验，测量人体在不同情绪控制下各个部位的温度，然后用热成像图表示出来。结果显示，情绪会导致人体内部的化学变化，从而产生不同的热量分布。例如，当愤怒时，头部和胸部的温度就会升高；当心情沮丧的时候，全身都凉透了；当感到害羞时，“热点”就会集中到脸上。总之，喜怒哀乐情绪变化影响身体热量分布，相当于得到一张身体情绪地图。当无人机操作员处在不同的心情状态时，面部表情也会处于不同的状态。因此，基于面部表情和体温的测量，可以综合判断操作员的情绪状态。
当无人机操作员处理负载过重或者长时间工作时，其疲劳度增加，眼睛的闭合时间增加，心率变化增加。图5为不同疲劳状态下的心率和眼睛闭合图。PERCLOS(Average EyeClosure Speed)定义为眼睛闭合时间占某一时间的百分比。PERCLOS是公认的疲劳检测的视觉参数。PERCLOS是1994年根据驾驶模拟器上的实验确立的。定义为1分钟内，眼睛闭合时间所占的比例。眼睛闭合有70％，80％和完全闭合三种标准，以80％标准的效果最好。研究结果表明，PER-CLOS反应了缓慢的眼皮闭合而不是快速的眨眼，可以强烈反应精神的疲劳状态。1999年4月，美国联邦公路管理局召集驾驶疲劳研究方面的专家学者，讨论了PERCLOS和其它眼睛活动测量方法的有效性。研究表明：PERCLOS可以作为机动车驾驶员的疲劳的车载的，实时的测评参数。虽然PERCLOS是机器视觉驾驶疲劳测量方法中最有效的，其不足之处在于眼睛的个体差异较大，增加了检测的难度。图5给出了PERCLOS的检测示意图，只要测量t1值就能计算出PERCLOS值。
图6为PERCLOS值与心率低频高频比随时间变化的趋势图。和其他检测方法相比，心电检测相比眼睛闭合检测具有干涉性小、实时性好、设备价格低廉等诸多优势，尤其是不依赖于眼动跟踪传感器的探测范围。Hanlon等对心率变异性(heart rate variability,HRV)与人的负荷水平、疲劳程度进行相关性研究，并推断HRV可以评估驾驶疲劳。HRV是指窦性心率在一定时间内周期性改变的现象，是反映交感-副交感神经张力及其平衡的重要指标。心率变化信号分解为不同的频率成分并将其相对强度定量为功率，提供了各种频率成分的功率谱测定。常用频域指标有心率变异性频谱高频部WHF、频谱低频部分WLF等，rLF/HF表示WLF与WHF之比，代表交感-副交感神经张力的平衡状态。图6为PERCLOS值与心率低频高频比随时间变化的趋势图，PERCLOS值与rLF/HF值呈一定的线性关系。
最后综合所测量的多种传感器数据，提取其特征值，估计无人机操作员的疲劳度、心情、肢体行为以及眼睛的注意力，图7为操作员心情、注意力、头部动作频率状态随时间变化的曲线，结合图6眼睛闭合PERCLOS值与心率rLF/HF值看出，操作员随时间的变化，疲劳程度急剧增加，心情也变的厌恶和愤怒，头部的运动频率也相应的增加。
表1为操作员不同时候人体状态、辅助等级，根据人体的不同状态输出相应的人机交互辅助决策等级，采用Sheridan和Verplank提出的分类法(SV-LOA)自主控制等级，根据决策等级对并对相应的状态进行描述。经过测试，在无人机执行侦察任务条件下，无人机操作员的最佳工作时间为1小时左右。
表1操作员不同测试时间工作状态与辅助决策等级

Claims (10)

1.一种基于多传感器融合的无人机操作员状态监视系统，其特征在于：包括用于对无人机进行状态监视的多种传感器，用于对各种传感器采集的数据进行处理的计算机以及进行无人机状态显示与控制的显示器；无人机操作员通过显示器了解无人机的状态并对无人机进行控制，多种传感器实时采集无人机操作员的各种状态信息，实现对无人机操作员进行状态监视，各传感器将采集到的状态信息传送给计算机进行数据处理，最终由计算机输出操作员的状态评估结果。
2.根据权利要求1所述的基于多传感器融合的无人机操作员状态监视系统，其特征在于：所述传感器包括测量无人机操作员的姿态、面部表情的体感传感器，进行无人机操作员的眼睛跟踪和眼睛疲劳检测的眼动仪传感器，测量无人机操作员心情、任务负荷度、身体状态的心率传感器以及体温传感器，通过这些传感器对无人机操作员的姿态、眼睛、面部表情、心率、体温的实时测量可分析其当前的状态、行为和注意力。
3.根据权利要求2所述的基于多传感器融合的无人机操作员状态监视系统，其特征在于：体感传感器和眼动仪传感器通过有线信号传输给计算机，心率传感器和体温传感器通过蓝牙或者无线信号传输给计算机。
4.根据权利要求2所述的基于多传感器融合的无人机操作员状态监视系统，其特征在于：体感传感器为交互式传感器，采用微软Kinect、华硕的Xtion、RealSense或者Prime。
5.根据权利要求2所述的基于多传感器融合的无人机操作员状态监视系统，其特征在于：眼动仪传感器采用固定在屏幕上的Tobii eyeX眼动仪或者ASL公司的头盔式眼动仪。
6.根据权利要求2所述的基于多传感器融合的无人机操作员状态监视系统，其特征在于：体感传感器检测无人机操作员头部的姿态，其姿态识别采用深度图像的识别，利用深度图像中的头部骨架进行头部姿态的识别：
设头部的位置Head(x,y,z)，脖子的位置为Neck(x,y,z)，头部的水平姿态为
αH＝atan((Neckx-Headx)/(Necky-Heady)) (1)
头部的俯仰姿态为
βH＝atan((Neckz-Headz)/(Necky-Heady)) (2)
对于无人机操作人员，如果头部位置超过设定的阈值即Headmin(x,y,z)＜Head(x,y,z)＜Headmax(x,y,z)，则判断无人机操作员不在视场的中心位置，如果低头或者抬头超过设定的阈值时即βH＞Tmax或者βH＜Tmin，则无人机操作员可能低头过多或者抬头过多，无人机任务控制站会给操作人员提示，降低的无人机操作员的处理任务负担，同时提高控制站自动化处理能力的等级。
7.根据权利要求2述的基于多传感器融合的无人机操作员状态监视系统，其特征在于：体感传感器检测无人机操作员的面部表情，面部表情识别采用可见光图像的识别，首先通过已经采用Adaboost训练的人脸库，进行人脸位置的识别，然后识别人脸表情，进而理解和把握人的情绪。
8.根据权利要求2所述的基于多传感器融合的无人机操作员状态监视系统，其特征在于：眼动仪传感器实现无人机操作员的眼动跟踪、眼睛疲劳检测，其采用主动式红外激光发射器，通过激光打到眼球并反射回设备，并进行检测识别位置定位；眼动跟踪采用中值滤波对眼睛跟踪坐标点进行滤波，然后采用Kalman滤波对坐标点进行预测跟踪，眼睛疲劳度检测采用PERCLOS指标，即单位时间内眼睛闭合的次数，对眼睛进行疲劳度检测。
9.根据权利要求2所述的基于多传感器融合的无人机操作员状态监视系统，其特征在于：心率传感器通过测量无人机操作员实时的心率值，通过一段时间内心率值的低频和高频数据的比值，估计操作员当前的身体状态；体温传感器测量无人机操作员身体10个以上部位的温度值，然后根据身体部位的温度值，与数据库中的心情和身体状态值比较，估计操作员当前的身体状态和心情。
10.根据权利要求2所述的基于多传感器融合的无人机操作员状态监视系统，其特征在于：所述计算机内加载有提取各传感器采集的特征数据、数据预处理以及特征融合的算法软件，首先对各个传感器的数据进行量化，特征检测，根据不同的传感器进行不同的预处理，然后对这些特征进行多传感器的数据融合，接着输出操作员的工作状态评估结果，最后给出人机交互中操作员的决策等级，以此反馈到操作员，提醒其当前最佳工作状态等级。
CN201610837853.XA 2016-09-21 2016-09-21 基于多传感器融合的无人机操作员状态监视系统 Active CN106343977B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610837853.XA CN106343977B (zh) 2016-09-21 2016-09-21 基于多传感器融合的无人机操作员状态监视系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610837853.XA CN106343977B (zh) 2016-09-21 2016-09-21 基于多传感器融合的无人机操作员状态监视系统

Publications (2)

Publication Number Publication Date
CN106343977A true CN106343977A (zh) 2017-01-25
CN106343977B CN106343977B (zh) 2019-07-09

Family

ID=57859088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610837853.XA Active CN106343977B (zh) 2016-09-21 2016-09-21 基于多传感器融合的无人机操作员状态监视系统

Country Status (1)

Country Link
CN (1) CN106343977B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844780A (zh) * 2017-11-24 2018-03-27 中南大学 一种融合zed视觉的人体健康特征大数据智慧计算方法与装置
CN107970035A (zh) * 2017-12-13 2018-05-01 上海青研科技有限公司 一种基于眼动数据的心理健康反馈系统
CN108098118A (zh) * 2017-12-08 2018-06-01 唐山松下产业机器有限公司 用于对电焊机控制的方法、终端及系统
CN108211218A (zh) * 2017-12-29 2018-06-29 上海理工大学 一种基于Kinect所测生理信号控制速度的电动跑步机
CN109145861A (zh) * 2018-09-04 2019-01-04 京东方科技集团股份有限公司 情绪识别装置及方法、头戴式显示设备、存储介质
CN109272804A (zh) * 2018-09-14 2019-01-25 温州大学 一种飞行座舱约束下飞行员头部运动的正交视频定位方法
CN109375640A (zh) * 2017-08-02 2019-02-22 深圳曼塔智能科技有限公司 一种多无人机竞技的展示方法、系统及终端设备
CN109520501A (zh) * 2018-11-01 2019-03-26 大连理工大学 一种人在回路的无人机视觉导航方法
CN111166294A (zh) * 2020-01-29 2020-05-19 北京交通大学 一种基于心跳间期的睡眠呼吸暂停自动检测方法及装置
CN114578745A (zh) * 2020-12-01 2022-06-03 大众汽车股份公司 用于控制机器的方法和装置
CN114840022A (zh) * 2019-05-30 2022-08-02 中国人民解放军国防科技大学 一种基于mas的多无人系统监督控制方法
CN115640106A (zh) * 2022-10-18 2023-01-24 杭州国科骏飞光电科技有限公司 一种面向多无人机指挥控制的人机功能分配方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697199A (zh) * 2009-08-11 2010-04-21 北京盈科成章科技有限公司 头面部动作检测方法及应用该方法操控计算机的助残系统
CN103021140A (zh) * 2011-09-20 2013-04-03 三星电子株式会社 用于帮助用户保持正确姿势的设备和方法
CN105496407A (zh) * 2016-01-17 2016-04-20 仲佳 一种提醒装置及其方法
CN205353672U (zh) * 2016-01-07 2016-06-29 谭圆圆 一种飞行监控装置、无人机和地面控制站

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697199A (zh) * 2009-08-11 2010-04-21 北京盈科成章科技有限公司 头面部动作检测方法及应用该方法操控计算机的助残系统
CN103021140A (zh) * 2011-09-20 2013-04-03 三星电子株式会社 用于帮助用户保持正确姿势的设备和方法
CN205353672U (zh) * 2016-01-07 2016-06-29 谭圆圆 一种飞行监控装置、无人机和地面控制站
CN105496407A (zh) * 2016-01-17 2016-04-20 仲佳 一种提醒装置及其方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109375640A (zh) * 2017-08-02 2019-02-22 深圳曼塔智能科技有限公司 一种多无人机竞技的展示方法、系统及终端设备
CN107844780A (zh) * 2017-11-24 2018-03-27 中南大学 一种融合zed视觉的人体健康特征大数据智慧计算方法与装置
CN108098118A (zh) * 2017-12-08 2018-06-01 唐山松下产业机器有限公司 用于对电焊机控制的方法、终端及系统
CN107970035A (zh) * 2017-12-13 2018-05-01 上海青研科技有限公司 一种基于眼动数据的心理健康反馈系统
CN108211218A (zh) * 2017-12-29 2018-06-29 上海理工大学 一种基于Kinect所测生理信号控制速度的电动跑步机
CN109145861A (zh) * 2018-09-04 2019-01-04 京东方科技集团股份有限公司 情绪识别装置及方法、头戴式显示设备、存储介质
CN109272804B (zh) * 2018-09-14 2020-11-24 温州大学 一种飞行座舱约束下飞行员头部运动的正交视频定位方法
CN109272804A (zh) * 2018-09-14 2019-01-25 温州大学 一种飞行座舱约束下飞行员头部运动的正交视频定位方法
CN109520501A (zh) * 2018-11-01 2019-03-26 大连理工大学 一种人在回路的无人机视觉导航方法
CN114840022A (zh) * 2019-05-30 2022-08-02 中国人民解放军国防科技大学 一种基于mas的多无人系统监督控制方法
CN114840022B (zh) * 2019-05-30 2024-07-26 中国人民解放军国防科技大学 一种基于mas的多无人系统监督控制方法
CN111166294B (zh) * 2020-01-29 2021-09-14 北京交通大学 一种基于心跳间期的睡眠呼吸暂停自动检测方法及装置
CN111166294A (zh) * 2020-01-29 2020-05-19 北京交通大学 一种基于心跳间期的睡眠呼吸暂停自动检测方法及装置
CN114578745A (zh) * 2020-12-01 2022-06-03 大众汽车股份公司 用于控制机器的方法和装置
CN115640106A (zh) * 2022-10-18 2023-01-24 杭州国科骏飞光电科技有限公司 一种面向多无人机指挥控制的人机功能分配方法及系统
CN115640106B (zh) * 2022-10-18 2023-09-29 杭州国科骏飞光电科技有限公司 一种面向多无人机指挥控制的人机功能分配方法及系统

Also Published As

Publication number Publication date
CN106343977B (zh) 2019-07-09

Similar Documents

Publication Publication Date Title
CN106343977A (zh) 基于多传感器融合的无人机操作员状态监视系统
US20190092337A1 (en) System for Monitoring an Operator
CN103340637B (zh) 基于眼动与脑电融合的驾驶员警觉度智能监控系统及方法
CN109528157A (zh) 用于监测飞行员健康的系统和方法
CN113743471B (zh) 一种驾驶评估方法及其系统
CN111951637B (zh) 一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法
US20200242343A1 (en) Method of assessing a pilot emotional state
CN106377228B (zh) 基于Kinect的无人机操作员状态监视与分层控制方法
CN110221620B (zh) 一种基于mas的多无人系统监督控制站
Yang et al. Real-time driver cognitive workload recognition: Attention-enabled learning with multimodal information fusion
CN109558005A (zh) 一种自适应人机界面配置方法
CN106156564A (zh) 基于智能手机的驾驶员识别方法
CN109664894A (zh) 基于多源异构数据感知的疲劳驾驶安全预警系统
CN113778113B (zh) 一种基于多模态生理信号的飞行员辅助驾驶方法及系统
CN118097636A (zh) 一种基于人工智能的自动检测司机疲劳度的图像视觉方法与系统
CN117547270A (zh) 一种多源数据融合的飞行员认知负荷反馈系统
Chen et al. A situation awareness assessment method based on fuzzy cognitive maps
Lim et al. Eye-tracking sensors for adaptive aerospace human-machine interfaces and interactions
Lim et al. A novel simulation environment for cognitive human factors engineering research
Ansari et al. Application of fully adaptive symbolic representation to driver mental fatigue detection based on body posture
CN115743140A (zh) 一种面向spo模式的智能驾驶辅助系统
Lee et al. UAV Pilot Status Identification Algorithm Using Image Recognition and Biosignals
Niu et al. Monitoring the performance of a multi-UAV operator through eye tracking
CN116597119A (zh) 可穿戴扩展现实设备的人机交互采集方法、装置和系统
CN114492656A (zh) 一种基于计算机视觉和传感器的疲劳度监测系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant