CN106377228B - 基于Kinect的无人机操作员状态监视与分层控制方法 - Google Patents

基于Kinect的无人机操作员状态监视与分层控制方法 Download PDF

Info

Publication number
CN106377228B
CN106377228B CN201610836803.XA CN201610836803A CN106377228B CN 106377228 B CN106377228 B CN 106377228B CN 201610836803 A CN201610836803 A CN 201610836803A CN 106377228 B CN106377228 B CN 106377228B
Authority
CN
China
Prior art keywords
unmanned plane
operator
kinect
gesture
plane operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610836803.XA
Other languages
English (en)
Other versions
CN106377228A (zh
Inventor
牛轶峰
钟志伟
王祥科
李�杰
相晓嘉
尹栋
贾圣德
王菖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201610836803.XA priority Critical patent/CN106377228B/zh
Publication of CN106377228A publication Critical patent/CN106377228A/zh
Application granted granted Critical
Publication of CN106377228B publication Critical patent/CN106377228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Cardiology (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Developmental Disabilities (AREA)
  • Dentistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Fuzzy Systems (AREA)

Abstract

本发明提供一种基于Kinect的无人机操作员状态监视与分层控制方法，采用微软交互式传感器Kinect，该传感器包括深度传感器、可见光图像传感器和语音阵列传感器等。当无人机操作人员处理负载过重或者长时间工作时，可以通过眼睛的闭合时间以及头部的朝向进行判断。当无人机操作员处在不同的心情状态时，其面部表情也会处于不同的状态。手势、姿态可实时测量无人机操作员当前的行为。可以通过语音、手势等实现分层控制，该方法既可以适用于单无人机控制站，也可以适用于多无人机控制站，能够实时掌握操作员的工作状态，并可以发出多层次的控制指令，简单直观方便地为操作员与多无人机之间进行交互控制提供手段。

Description

基于Kinect的无人机操作员状态监视与分层控制方法
技术领域
本发明涉及无人机系统技术领域，具体涉及一种基于交互式传感器的操作员状态监视与无人机分层控制方法。
背景技术
近年来随着无人机技术的迅猛发展，对无人机地面站提出了更高的要求，要求其具备集控制、规划、通信、情报处理等于一体的综合能力。随着技术的进一步发展成熟，未来地面站不仅限于控制同型号的单架无人机，还将控制不同型号的无人机联合机群及控制无人机协同有人驾驶飞机完成任务。虽然近年来无人机已具有较强的智能自主控制能力，但在执行任务过程中地面站操作员仍然拥有操纵飞机的最终决定权，无人机系统仍属于人在回路的系统，其作战使用离不开人的指挥控制。
大量的显示信息及控制需求使地面站操作员的工作负荷和操作难度增大。公开号为103885585A的专利申请，提供了一种基于单人手势和语音信息的机器人人工导航方法，其采用体感设备Kinect采集骨架和语音信息作机器人导航，但是没有涉及到如何控制不同的任务。公开号为103941866A的专利文献，提供了一种基于Kinect深度图像的三维手势识别方法，然而没有提及如何控制。公开号为105082150A的专利文献，公开了一种基于用户情绪及意图识别的机器人人机交互方法，利用生物信号、面部表情以及利用语音交互实现人机交互，主要用于老人和小孩等使用者。
发明内容
本发明提出了一种基于Kinect的无人机操作员状态监视与分层控制方法，可有效减轻控制站操作员工作负荷，既可以适用于单无人机控制站，也可以适用于多无人机控制站，能够实时掌握操作员的工作状态，并可以发出多层次的控制指令，简单直观方便地为操作员与多无人机之间进行交互控制提供手段。
一种基于Kinect的无人机操作员状态监视与分层控制方法，包括以下步骤：
步骤一：基于微软交互式传感器Kinect的无人机操作员状态监视。
利用微软交互式传感器Kinect的可见光图像传感器提取无人机操作员的面部表情和眼睛闭合程度，其中无人机操作员的面部表情用于识别操作员的心情和状态监测，无人机操作员的眼睛闭合程度用于操作员疲劳度的检测；利用微软交互式传感器Kinect的深度图像传感器采集的深度图像信息提取无人机操作员的姿态特征。如提取无人机操作员头部以及手部的姿态，利用深度图像中的头部骨架进行头部姿态的识别。利用深度图像中的手部骨架进行手势识别。无人机操作员在疲劳状态下容易瞌睡，表现为头部的摇动或者低头，当操作员突然处理其它事务时，操作员头部存在较大的偏移。手势识别主要通过人的骨架识别中的手的位置或者手的手势变化，主要是为了减少长期摇杆操作的疲劳，可以设定多种复杂的飞行动作。手势识别主要识别手的动作，当两手合起来时，开始接管无人机的操作，两手到达指定位置时取消无人机的接管。
步骤二：基于微软交互式传感器Kinect的无人机操作员分层控制无人机。
分层次控制包括高层监督控制层和低层监督控制层。高层监督控制层可以利用语音识别负责用户交互、目标管理、任务/路径规划与执行监视；低层监督控制层则利用手势的实时检测等负责直接接管无人机和操控无人机飞向指定区域。
手势识别与语音识别作为无人机操作员的分层控制指令，依据操作员的状态监视输出人机交互辅助决策等级，该辅助决策等级又作用于分层控制，当人不太适合辅助决策时，系统会提示操作员减少分层次控制，当人精力比较旺盛时，系统会给予相应的任务决策。
通过检测语音信号，并且对语音进行识别，操控无人机按照相应的语音指令执行。语音方向识别和语音识别置信度的提示，可以减少其他人员或者外界环境的干扰。通过手势的识别转换为手势指令，其中单手手势指令包括向上、向下、前进、后退等，双手手势指令包括双手合拢、分开、一前一后等。
步骤三：实时可见光图像与骨架图像融合，对无人机操作员的身份确认，无人机操作员更加直观的判断自己的当前状态信息。
无人机操作员的身份确认采用2D-PCA人脸识别算法，通过训练学习完成不同的人的人脸识别，当骨架图像或者可见光图像中检测到多个人时，采用2D-PCA人脸识别算法，确定是否是无人机操作员，实现对无人机操作员的身份确认，以减少其它人员和环境的干扰。
本发明采用微软交互式传感器Kinect，该传感器包括进行无人机操作员的手势、姿态等骨架识别的深度传感器，进行面部表情及头部方位识别的可见光图像传感器，进行语音识别和语音合成的语音阵列传感器等。当无人机操作人员处理负载过重或者长时间工作时，可以通过眼睛的闭合时间以及头部的朝向进行判断。当无人机操作员处在不同的心情状态时，其面部表情也会处于不同的状态。手势、姿态可实时测量无人机操作员当前的行为。可以通过语音、手势等实现分层控制，包括高层的目标管理、任务/路径规划与执行监视等控制和低层的接管无人机和操控无人机飞向指定区域等控制。该方法既可以适用于单无人机控制站，也可以适用于多无人机控制站，能够实时掌握操作员的工作状态，并可以发出多层次的控制指令，简单直观方便地为操作员与多无人机之间进行交互控制提供手段。
附图说明
图1为系统安装结构图。
图2为系统流程图。
图3为Kinect传感器结构图。
图4(a)为骨架识别和手势识别图；
图4(b)为可见光图像与骨架图像融合图。
图5为人脸表情和头部姿态图。
图6为不同疲劳状态下的眼睛闭合图。
图7为操作人眼疲劳指数Pp80。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步说明。
本发明旨在设计一种基于Kinect的无人机操作员状态监视与分层控制方法。可有效减轻控制站操作员工作负荷，既可以适用于单无人机控制站，也可以适用于多无人机控制站，能够实时掌握操作员的工作状态，并可以发出多层次的控制指令，简单直观方便地为操作员与多无人机之间进行交互控制提供手段。下面根据图1-7说明本发明的具体实施方式。
图1为系统安装结构图。本发明提供一种无人机监督控制系统，包括一个以上的微软交互式传感器Kinect100以及用于对传感器采集的数据进行处理的计算机，微软交互式传感器Kinect包括进行无人机操作员的手势、姿态等骨架识别的深度传感器，进行面部表情及头部方位识别的可见光图像传感器，进行语音识别和语音合成的语音阵列传感器等。
为了减少微软交互式传感器Kinect100对操作人员的干扰以及提高安装的便捷，安装在如图1所示的位置，即操作员正前方的显示器上方，无人机操作员通过显示器了解无人机的状态并对无人机进行控制。针对多无人机控制站的无人机监督控制系统101，可以对每个无人机操作人员都安装一套微软交互式传感器Kinect。
利用微软交互式传感器Kinect100中的骨架识别传感器、可见光图像传感器、语音阵列传感器对无人机操作员进行状态监视与对无人机进行分层任务控制如图2所示。
步骤一：基于微软交互式传感器Kinect的无人机操作员状态监视。
利用微软交互式传感器Kinect的可见光图像提取无人机操作员的面部表情和眼睛闭合程度，其中无人机操作员的面部表情用于识别操作员的心情和状态监测，无人机操作员的眼睛闭合程度用于操作员疲劳度的检测；利用微软交互式传感器Kinect的深度图像信息提取无人机操作员的姿态特征，如提取无人机操作员头部以及手部的姿态，利用深度图像中的头部骨架进行头部姿态的识别，利用深度图像中的手部骨架进行手部姿态的识别。无人机操作员在疲劳状态下容易瞌睡，表现为头部的摇动或者低头，当操作员突然处理其它事务时，操作员头部存在较大的偏移。手势识别主要通过人的骨架识别中的手的位置或者手的手势变化，主要是为了减少长期摇杆操作的疲劳，可以设定多种复杂的飞行动作。手势识别主要识别手的动作，当两手合起来时，开始接管无人机的操作，两手到达指定位置时取消无人机的接管。
步骤二：基于微软交互式传感器Kinect的无人机操作员分层控制无人机。
分层次控制包括高层监督控制层和低层监督控制层。高层监督控制层可以利用语音识别负责用户交互、目标管理、任务/路径规划与执行监视；低层监督控制层则利用手势的实时检测等负责直接接管无人机和操控无人机飞向指定区域。
手势特征与语音识别作为无人机操作员的分层控制指令，依据操作员的状态监视输出人机交互辅助决策等级，该辅助决策等级又作用于分层控制，当人不太适合辅助决策时，系统会提示操作员减少分层次控制，当人精力比较旺盛时，系统会给予相应的任务决策。
系统检测到语音信号，并且对语音进行识别，操控无人机按照相应的语音指令执行。语音方向识别和语音识别置信度的提示，可以减少其他人员或者外界环境的干扰。通过手势的检测转换为手势指令，其中单手手势指令包括向上、向下、前进、后退等，双手手势指令包括双手合拢、分开、一前一后等。
步骤三：实时可见光图像与骨架图像融合，对无人机操作员的身份确认，无人机操作员更加直观的判断自己的当前状态信息。
人员的身份确认采用2D-PCA人脸识别算法，通过训练学习完成不同的人的人脸识别。当骨架图像或者可见光图像中检测到多个人时，采用人脸识别，确定是否是该操作人员，同时可以做无人机操作员的身份确认，以减少其它人员和环境的干扰。
图3为微软交互式传感器Kinect的结构图，微软交互式传感器Kinect中的传感器包括可见光图像传感器102，深度传感器103，微型语音阵列传感器104。可见光图像传感器102识别无人机操作员的人脸面部表情以及头部方位。深度传感器103利用主动式激光散斑发射到目标上返回测量目标的距离，因此可以测量手势、姿态的骨架识别，微型语音阵列传感器104利用多个语音接收器接收外界的信号，因此可以提供语音识别和语音合成、语音方向的语音传感器。
图4(a)为微软交互式传感器Kinect的骨架和手势识别图。图中：手势识别105，骨架识别106，手势识别和骨架识别的结果107。
手势识别主要通过人的骨架识别中的手的位置或者手的手势变化，主要是为了减少长期摇杆操作的疲劳，可以设定多种复杂的飞行动作。同时，骨架识别可以根据人的某些行为去判断操作人员当前的状态，坐姿，如人在疲劳状态下容易瞌睡，表现为头部的摇动或者低头，当操作人员头部的摇动或者低头时，系统会给提示操作人员或者降低系统任务负担。手势识别主要识别手的动作，当两手合起来时，开始接管无人机的操作，两手到达指定位置时取消无人机的接管。图4(b)为可见光图像与骨架图像融合图，实时的可见光图像与骨架图像融合，使得操作员简单直观的进行状态监视，对无人机操作人员的身份确认，以减少其它人员的干扰。
图5为人脸识别和人表情识别以及头部方向识别，采用微软交互式传感器Kinect自带的API函数。图中：人脸识别108，人脸表情识别109，人脑方向识别110。当无人机操作员困倦时，点头就会频繁，此时人脑方向识别的俯仰角度就会相应的变换。人脸表情识别主要识别人的面部表情，当操作员处于不同心情状态下，在一定程度上也反应在面部表情，尤其是当突然意外时间，面部表情可以及时的反应操作员的状态。
实时可见光图像与骨架图像融合结果，如图4(b)所示，对无人机操作人员的身份确认，并可以减少其它人员的干扰，主要采用2D-PCA人脸识别算法，通过训练学习完成不同的人脸识别。当骨架图像或者可见光图像中检测到多个人时，采用人脸识别，确定是否是该操作人员，同时可以做操作员的身份确认，以减少其它人员和环境的干扰。
图6为不同状态下的人眼睛图，图中所示：疲劳状态111，清醒状态112。首先对眼部图像进行灰度处理，然后进行形态学腐蚀膨胀操作，以突出瞳孔等形态特征。计算每一帧图像的眼睛闭合程度，并用一单位时间内闭合程度大于80％的帧数除以总帧数，得出此单位时间内的Pp80值。(参照文献：《心率变异性与驾驶疲劳相关性研究2010》)
图7为操作人眼疲劳指数Pp80，疲劳指数113的不同变化反应不同的疲劳状态，当0.075<Pp80<0.15为疲劳的临界状态，当Pp80>0.15指操作人员处理疲劳状态，当Pp80<0.075时操作人员处理正常的状态。
语音识别和语音合成其特征在于对无人机意外时间的处理，用户交互、目标管理、任务/路径规划与执行监视，操控无人机按照相应的语音指令执行任务。语音方向识别和语音置信度其特征在于减少其它人员的干扰，或者外界环境的干扰。微软交互式传感器Kinect自带的微型语音阵列传感器104，通过语音阵列传感器中不同位置的语音检测音量的大小以判断语音的方向，语音阵列的融合估计发生体发音的置信度。
分层次控制主要包括高层监督控制层(High-level Supervisory Control，HLS)和低层监督控制层(Lowlevel Supervisory Control，LLS)。高层监督控制层可以利用语音识别负责用户交互、目标管理、任务/路径规划与执行监视；低层监督控制层则利用手势的实时检测等负责直接接管无人机和操控无人机飞向指定区域。
分层次控制的执行系统通过与分层任务规划交互(以实现任务分解)，或基于任务分配原则，来进行任务协调。执行系统与路径规划交互时，产生导航指令和搜索策略。执行系统提供目标管理、任务分解，并跟踪当前的高级环境状态与执行状态。此外，它还管理任务计划中的任何中断事件。在这种设置下，无人机操作员可以随时通过发送新目标或中断当前行动执行来进行交互。一旦生成完整的计划，还可由操作员管理整个执行过程。

Claims (3)

1.一种基于Kinect的无人机操作员状态监视与分层控制方法，其特征在于，包括以下步骤：
步骤一：基于微软交互式传感器Kinect的无人机操作员状态监视；
微软交互式传感器Kinect包括进行无人机操作员的手势、姿态识别的深度图像传感器，进行面部表情及头部方位识别的可见光图像传感器，进行语音识别和语音合成的语音阵列传感器；
利用微软交互式传感器Kinect的可见光图像传感器提取无人机操作员的面部表情和眼睛闭合程度，其中无人机操作员的面部表情用于识别操作员的心情和状态监测，无人机操作员的眼睛闭合程度用于操作员疲劳度的检测；利用微软交互式传感器Kinect的深度图像传感器采集的深度图像信息提取无人机操作员的姿态特征，其中利用深度图像中的头部骨架进行头部姿态的识别，利用深度图像中的手部骨架进行手势识别；
步骤二：基于微软交互式传感器Kinect的无人机操作员分层控制无人机；
分层次控制包括高层监督控制层和低层监督控制层；高层监督控制层利用语音识别负责用户交互、目标管理、任务/路径规划与执行监视；低层监督控制层则利用手势的实时检测负责直接接管无人机和操控无人机飞向指定区域；
步骤三：实时可见光图像与骨架图像融合，对无人机操作员的身份确认，无人机操作员更加直观的判断自己的当前状态信息。
2.根据权利要求1所述的基于Kinect的无人机操作员状态监视与分层控制方法，步骤二中，手势识别与语音识别作为无人机操作员的分层控制指令，通过检测语音信号，并且对语音信号进行识别，操控无人机按照相应的语音指令执行；通过手势的识别转换为手势指令，其中单手手势指令包括向上、向下、前进和后退，双手手势指令包括双手合拢、分开和一前一后。
3.根据权利要求1所述的基于Kinect的无人机操作员状态监视与分层控制方法，步骤三中，无人机操作员的身份确认采用2D-PCA人脸识别算法，通过训练学习完成不同的人的人脸识别，当骨架图像或者可见光图像中检测到多个人时，采用2D-PCA人脸识别算法，确定是否是无人机操作员，实现对无人机操作员的身份确认。
CN201610836803.XA 2016-09-21 2016-09-21 基于Kinect的无人机操作员状态监视与分层控制方法 Active CN106377228B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610836803.XA CN106377228B (zh) 2016-09-21 2016-09-21 基于Kinect的无人机操作员状态监视与分层控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610836803.XA CN106377228B (zh) 2016-09-21 2016-09-21 基于Kinect的无人机操作员状态监视与分层控制方法

Publications (2)

Publication Number Publication Date
CN106377228A CN106377228A (zh) 2017-02-08
CN106377228B true CN106377228B (zh) 2019-07-09

Family

ID=57935804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610836803.XA Active CN106377228B (zh) 2016-09-21 2016-09-21 基于Kinect的无人机操作员状态监视与分层控制方法

Country Status (1)

Country Link
CN (1) CN106377228B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682091A (zh) * 2016-11-29 2017-05-17 深圳市元征科技股份有限公司 一种无人机控制方法及装置
CN106933236A (zh) * 2017-02-25 2017-07-07 上海瞬动科技有限公司合肥分公司 一种骨架控制无人机放飞和回收的方法及装置
CN107203215A (zh) * 2017-05-04 2017-09-26 西北工业大学 一种手势及语音控制四旋翼飞行器方法
CN107123422A (zh) * 2017-05-23 2017-09-01 成都环磊科技有限公司 无人机定位语音分布式控制方法
JP6848702B2 (ja) * 2017-06-07 2021-03-24 トヨタ自動車株式会社 覚醒支援装置および覚醒支援方法
CN114879715A (zh) * 2018-01-23 2022-08-09 深圳市大疆创新科技有限公司 无人机的控制方法、设备和无人机
US10825196B2 (en) * 2019-02-15 2020-11-03 Universal City Studios Llc Object orientation detection system
CN111882827A (zh) * 2020-07-27 2020-11-03 复旦大学 一种疲劳驾驶监测方法、系统、装置和可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104808799A (zh) * 2015-05-20 2015-07-29 成都通甲优博科技有限责任公司 一种能够识别手势的无人机及其识别方法
CN105116859A (zh) * 2015-08-21 2015-12-02 杨珊珊 一种利用无人飞行器实现的智能家居系统及方法
CN105283816A (zh) * 2013-07-31 2016-01-27 深圳市大疆创新科技有限公司 远程控制方法及终端
CN105677300A (zh) * 2016-02-04 2016-06-15 普宙飞行器科技（深圳）有限公司 基于手势识别操控无人机的方法、无人机及系统
CN105807926A (zh) * 2016-03-08 2016-07-27 中山大学 一种基于三维连续动态手势识别的无人机人机交互方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150187224A1 (en) * 2013-10-15 2015-07-02 Mbfarr, Llc Driving assessment and training method and apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105283816A (zh) * 2013-07-31 2016-01-27 深圳市大疆创新科技有限公司 远程控制方法及终端
CN104808799A (zh) * 2015-05-20 2015-07-29 成都通甲优博科技有限责任公司 一种能够识别手势的无人机及其识别方法
CN105116859A (zh) * 2015-08-21 2015-12-02 杨珊珊 一种利用无人飞行器实现的智能家居系统及方法
CN105677300A (zh) * 2016-02-04 2016-06-15 普宙飞行器科技（深圳）有限公司 基于手势识别操控无人机的方法、无人机及系统
CN105807926A (zh) * 2016-03-08 2016-07-27 中山大学 一种基于三维连续动态手势识别的无人机人机交互方法

Also Published As

Publication number Publication date
CN106377228A (zh) 2017-02-08

Similar Documents

Publication Publication Date Title
CN106377228B (zh) 基于Kinect的无人机操作员状态监视与分层控制方法
Fernandez et al. Natural user interfaces for human-drone multi-modal interaction
EP3549109B1 (en) Virtual user input controls in a mixed reality environment
CN106343977B (zh) 基于多传感器融合的无人机操作员状态监视系统
CN106660205B (zh) 用于处理类人机器人与人类交互的系统、方法和计算机程序产品
CN105159452B (zh) 一种基于人脸姿态估计的控制方法与系统
CN104520849A (zh) 使用外在物理表达的搜索用户界面
CN102221881A (zh) 基于仿生代理与视线追踪兴趣区域分析的人机交互方法
CN104656884A (zh) 一种融合人脸和手势的智能终端人机交互方法
Naseer et al. Deep Learning-Based Unmanned Aerial Vehicle Control with Hand Gesture and Computer Vision
Zhang et al. Research on multi-modal interactive control for quadrotor uav
Wallhoff et al. Adaptive human-machine interfaces in cognitive production environments
CN113056315B (zh) 信息处理装置、信息处理方法和程序
Abu-Alqumsan et al. Goal-recognition-based adaptive brain-computer interface for navigating immersive robotic systems
Yam-Viramontes et al. Implementation of a natural user interface to command a drone
Helmert et al. Design and Evaluation of an AR Voice-based Indoor UAV Assistant for Smart Home Scenarios
Garrote et al. Reinforcement learning motion planning for an EOG-centered robot assisted navigation in a virtual environment
CN113807280A (zh) 一种基于Kinect的虚拟船舶机舱系统与方法
Liu et al. Human-Mobile Robot Interaction in laboratories using Kinect Sensor and ELM based face feature recognition
Di Vincenzo et al. A Natural Human-Drone Embodied Interface: Empirical Comparison With a Traditional Interface
Ji-Won et al. Wearable drone controller: Machine learning-based hand gesture recognition and vibrotactile feedback
Zhou et al. Multimodal control of uav based on gesture, eye movement and voice interaction
Kulkarni et al. Eye Gesture Interface and Emotion Detection Tool
Zaboleeva-Zotova et al. Automated identification of human emotions by gestures and poses
Yu et al. Design and Realization of Eye Control System for Small Ground Unmanned Platform

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant