CN107126224B - 一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法与系统 - Google Patents

一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法与系统 Download PDF

Info

Publication number
CN107126224B
CN107126224B CN201710470384.7A CN201710470384A CN107126224B CN 107126224 B CN107126224 B CN 107126224B CN 201710470384 A CN201710470384 A CN 201710470384A CN 107126224 B CN107126224 B CN 107126224B
Authority
CN
China
Prior art keywords
track train
train driver
driver
data
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710470384.7A
Other languages
English (en)
Other versions
CN107126224A (zh
Inventor
刘辉
李燕飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201710470384.7A priority Critical patent/CN107126224B/zh
Publication of CN107126224A publication Critical patent/CN107126224A/zh
Application granted granted Critical
Publication of CN107126224B publication Critical patent/CN107126224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Cardiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Acoustics & Sound (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Psychiatry (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Emergency Alarm Devices (AREA)
  • Pulmonology (AREA)

Abstract

本发明公开了一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法与系统，该方法通过对Kinect传感器进行巧妙的设置，综合利用Kinect传感器的各项检测功能，只使用一种Kinect传感器，实现了列车启动检测、驾驶员心率监测、疲劳监测、误判监测多种功能，利用Kinect传感器获取的彩色图像数据、深度数据数据、骨骼图像数据和语音数据进行数据处理；融合使用各项检测数据，结合轨道列车驾驶员语音信息、驾驶员手势信息、列车指令信号信息特征融合的方法，从技术方案上直接避免司机看错误判信号和指令的情况；该系统结构简单、操作方便，大大的降低了监测预警系统的成本，且具有准确的监测预警效果。

Description

一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法 与系统
技术领域
本发明属于轨道交通控制领域，特别涉及一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法与系统。
背景技术
列车行驶过程中，列车驾驶员的生理状态对列车的安全运行有很大的影响。列车驾驶员的生理状态主要包括生理健康状态和疲劳状态。根据交通事故统计年鉴，约15-20％的铁路交通事故和驾驶疲劳有关，疲劳驾驶严重影响列车驾驶员的警觉性、应变性及安全驾驶能力。为了防范疲劳驾驶带来的轨道列车安全隐患，驾驶室里的司机脚下有一个按钮，要求司机在一定时间内就得踩一次，一旦超出规定时间没有踩，该按钮就会发出警示，提示司机做出反应。如果司机在几秒之内没有做出回应，列车就会自动减速停车。轨道列车操作繁琐，信号种类多，司机常常要手眼口并用，因此必须集中高度的注意力，现有的装置要求司机在一定的时间内对警示装置做出反应，容易分散司机的注意力。同时随着高速铁路规模的扩大，驾驶员工作强度增大，对驾驶员的生理健康监测引起了人们越来越大的重视。
列车驾驶员工作强度大，注意力要求高度集中，为了避免司机误操作，当遇上车门开关、开车、停车、通过车站、遇上速度限制和识别不同的铁路信号时，司机使用相关操作手势并说出对应指令。这种方式虽然在一定程度让司机减少误判情况，但是缺少纠错机制和反馈机制，不能从根本上完全消除误判情况。
发明内容
本发明提供了一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法与系统，其目的在于，利用Kinect传感器阵列采集轨道列车驾驶员的综合驾驶状态，从根本上完全消除司机看错误判信号和指令的情况，实现了对轨道列车轨道列车驾驶员驾驶状态的识别、监测预警。
一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法，包括以下步骤：
步骤1：利用设置于驾驶室前方的Kinect传感器阵列采集轨道列车驾驶员工作状态信息；
所述轨道列车驾驶员工作状态信息包括轨道列车驾驶员彩色图像数据、深度数据、骨骼图像数据以及语音数据；
步骤2：对轨道列车驾驶员工作状态信息进行数据处理；
对采集到的轨道列车驾驶员彩色图像进行轨道列车驾驶员心率检测；
对采集到的轨道列车驾驶员彩色图像进行面部特征提取，采用欧拉视频放大方法，读取每帧面部特征图像的RGB代表像素，利用带通滤波器对RGB代表像素进行滤波处理，并对滤波后的像素进行PCA分析(主元分析)和光谱分析，读取轨道列车驾驶员心率，并将心率数据发送给心率监测预警模块和疲劳监测预警模块；
对采集到的轨道列车驾驶员彩色图像进行身份识别，同时，从提取的面部特征中的眼部区域特征，识别闭眼动作，获得闭眼时间占连续驾驶时间的比例PERCLOS值；
Kinect传感器面部图像处理模块对轨道列车驾驶员面部特征进行提取，对轨道列车驾驶员的身份识别，记录同一轨道列车驾驶员的驾驶时间，并发送给Kinect传感器疲劳监测模块。同时，提取轨道列车驾驶员的眼部区域，识别闭眼动作，计算PERCLOS值(闭眼时间占连续驾驶时间的比例)，并发送给疲劳监测预警模块。
利用轨道列车驾驶员的身份识别，精准的提取了同一轨道列车驾驶员的所有相关信息，避免了误检。
对采集到的轨道列车驾驶员骨骼图像数据和深度数据进行手势识别与匹配，获得轨道列车驾驶员发出的手势指令信号；
Kinect传感器手势识别模块对采集到的轨道列车驾驶员骨骼图像数据和手部的深度数据进行手势识别，并在手势模型数据库中的手势内容匹配，手势模型数据库包括上述“轨道弯道、道岔、进路、信号”对应的安全确认的标准动作手势。与手势模型数据库中匹配得到对应的指令信号信息，并发送给误判监测预警模块。
对采集到的轨道列车驾驶员语音数据进行语音关键词提取，并结合面部特征中的唇部区域特征，识别出唇部动态动作，将语音关键词和唇部动态动作进行特征融合匹配，获取轨道列车驾驶员发出的语音指令信号；
所述Kinect传感器语音识别模块对采集到的轨道列车驾驶员语音进行识别，提取语音关键词，语音关键词包括“轨道弯道、道岔、进路、信号”。对采集到的轨道列车驾驶员面部图像检测，识别唇部区域，通过对唇部特征提取和分析，识别出唇部动态动作，对唇部动态动作和语音进行特征融合，读取轨道列车驾驶员语音信息及其对应的信号指令内容，并发送给误判监测预警模块。
步骤3：对步骤2的数据处理结果进行预警；
若轨道列车驾驶员心率数据超过人体正常心率阈值，发出预警信号，并将预警信息上报监控中心；
利用轨道列车驾驶员年龄、心率、连续驾驶时间以及连续驾驶时间内的PERCLOS值输入轨道列车驾驶员疲劳驾驶状态模型，得到轨道列车驾驶员疲劳状态，若轨道列车驾驶员处于疲劳状态，则发出预警信号，并将预警信息上报监控中心；
若列车信号指令信号、识别的手势指令信号和语音指令信号不匹配时，则发出预警信号，并将预警信息上报监控中心。
进一步地，所述Kinect传感器采集阵列由3组相同的Kinect传感器组成，3组Kinect传感器依次排列在一个内角分别为55°、125°的等腰梯形装置上。
使3组Kinect传感器视角边界和语音有效范围彼此重叠，将驾驶室环境分为3个工作区域，实现Kinect传感器对轨道列车司机室图像和语音采集的全覆盖；
进一步地，所述轨道列车驾驶员疲劳驾驶状态模型的构建过程如下：
将采集的历史数据中的至少1000组轨道列车驾驶员年龄、心率、连续驾驶时间以及连续驾驶时间内的PERCLOS值和对应的轨道列车驾驶员疲劳状态作为训练数据，以轨道列车驾驶员年龄、心率、连续驾驶时间以及连续驾驶时间内的PERCLOS值作为神经网络中输入层神经元，以轨道列车驾驶员的疲劳状态作为输出层神经元，预设隐藏层神经元个数，不断的对神经网络进行训练，自适应调整神经网络权值，获得轨道列车驾驶员疲劳驾驶状态模型。
一种基于Kinect的轨道列车驾驶员状态的实时监测预警系统，包括：
Kinect传感器采集阵列，用于采集轨道列车驾驶员工作状态信息并将采集的信息发送至数据处理模块；
所述轨道列车驾驶员工作状态信息包括轨道列车驾驶员彩色图像数据、深度数据、骨骼图像数据以及语音数据；
数据处理模块，用于对采集的轨道列车驾驶员工作状态信息进行检测和识别，同时将检测和识别结果发送至预警装置；
所述数据处理模块包括Kinect传感器心率检测模块、Kinect传感器面部图像处理模块、Kinect传感器手势识别模块及Kinect传感器语音识别模块；
所述检测和识别结果包括轨道列车驾驶员心率、身份识别结果、闭眼时间占连续驾驶时间的比例PERCLOS值、手势指令信号和语音指令信号；
预警装置，用于依据数据处理模块得到的检测和识别结果数据进行预警；
若轨道列车驾驶员心率数据超过人体正常心率阈值，发出预警信号，并将预警信息上报监控中心；
利用轨道列车驾驶员年龄、心率、连续驾驶时间以及连续驾驶时间内的PERCLOS值输入轨道列车驾驶员疲劳驾驶状态模型，得到轨道列车驾驶员疲劳状态，若轨道列车驾驶员处于疲劳状态，则发出预警信号，并将预警信息上报监控中心；
若列车信号指令信号、识别的手势指令信号和语音指令信号不匹配时，则发出预警信号，并将预警信息上报监控中心。
进一步地，所述Kinect传感器采集阵列由3组相同的Kinect传感器组成，将3组Kinect传感器依次排列在一个内角分别为55°、125°的等腰梯形装置上。
进一步地，所述处理模块对采集的信息处理过程如下：
所述Kinect传感器心率检测模块对采集到的轨道列车驾驶员彩色图像进行轨道列车驾驶员心率检测；
所述Kinect传感器面部图像处理模块对采集到的轨道列车驾驶员彩色图像进行身份识别，同时，从提取的面部特征中的眼部区域特征，识别闭眼动作，获得闭眼时间占连续驾驶时间的比例PERCLOS值；
所述Kinect传感器手势识别模块对采集到的轨道列车驾驶员骨骼图像数据和深度数据进行手势识别与匹配，获得轨道列车驾驶员发出的手势指令信号；
所述Kinect传感器语音识别模块对采集到的轨道列车驾驶员语音数据进行语音关键词提取，并结合面部特征中的唇部区域特征，识别出唇部动态动作，将语音关键词和唇部动态动作进行特征融合匹配，获取轨道列车驾驶员发出的语音指令信号。
有益效果
本发明提供了一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法与系统，该方法通过对Kinect传感器进行巧妙的设置，综合利用Kinect传感器的各项检测功能，充分发挥和利用Kinect传感器内置的三轴加速度计、彩色摄像头、红外线摄像头和麦克风阵列功能，只使用一种Kinect传感器，实现了列车启动检测、轨道列车驾驶员心率监测、疲劳监测、误判监测多种功能，利用Kinect传感器获取的彩色图像数据、深度数据数据、骨骼图像数据和语音数据进行数据处理，同时通过Kinect传感器采集阵列，能在轨道列车驾驶员不同头部姿态任意角度获取心率数据；融合使用各项检测数据，结合轨道列车轨道列车驾驶员语音信息、轨道列车驾驶员手势信息、列车指令信号信息特征融合的方法，从技术方案上直接避免司机看错误判信号和指令的情况；加入轨道列车驾驶员的驾驶时间的先验知识(铁路司机驾驶时间规定)，提高对轨道列车驾驶员疲劳状态评估的正确率；该系统结构简单、操作方便，大大的降低了监测预警系统的成本，且具有准确的监测预警效果。
附图说明
图1为本发明所述方法的流程示意图；
图2为本发明中所使用的Kinect传感器采集阵列结构示意图。
具体实施方式
下面将结合附图和实例对本发明做进一步地说明。
如图1所示，一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法，包括以下步骤：
步骤1：利用设置于驾驶室前方的Kinect传感器阵列采集轨道列车驾驶员工作状态信息；
所述轨道列车驾驶员工作状态信息包括轨道列车驾驶员彩色图像数据、深度数据、骨骼图像数据以及语音数据；
步骤2：对轨道列车驾驶员工作状态信息进行数据处理；
对采集到的轨道列车驾驶员彩色图像进行轨道列车驾驶员心率检测；
对采集到的轨道列车驾驶员彩色图像进行面部特征提取，采用欧拉视频放大方法，读取每帧面部特征图像的RGB代表像素，利用带通滤波器对RGB代表像素进行滤波处理，并对滤波后的像素进行PCA分析(主元分析)和光谱分析，读取轨道列车驾驶员心率，并将心率数据发送给心率监测预警模块和疲劳监测预警模块；
对采集到的轨道列车驾驶员彩色图像进行身份识别，同时，从提取的面部特征中的眼部区域特征，识别闭眼动作，获得闭眼时间占连续驾驶时间的比例PERCLOS值；
Kinect传感器面部图像处理模块对轨道列车驾驶员面部特征进行提取，对轨道列车驾驶员的身份识别，记录同一轨道列车驾驶员的驾驶时间，并发送给Kinect传感器疲劳监测模块。同时，提取轨道列车驾驶员的眼部区域，识别闭眼动作，计算PERCLOS值(闭眼时间占连续驾驶时间的比例)，并发送给疲劳监测预警模块。
对采集到的轨道列车驾驶员骨骼图像数据和深度数据进行手势识别与匹配，获得轨道列车驾驶员发出的手势指令信号；
Kinect传感器手势识别模块对采集到的轨道列车驾驶员骨骼图像数据和手部的深度数据进行手势识别，并在手势模型数据库中的手势内容匹配，手势模型数据库包括上述“轨道弯道、道岔、进路、信号”对应的安全确认的标准动作手势。与手势模型数据库中匹配得到对应的指令信号信息，并发送给误判监测预警模块。
手势模型数据库是针对大量的铁路中信号指令手势建立；
对采集到的轨道列车驾驶员语音数据进行语音关键词提取，并结合面部特征中的唇部区域特征，识别出唇部动态动作，将语音关键词和唇部动态动作进行特征融合匹配，获取轨道列车驾驶员发出的语音指令信号；
所述Kinect传感器语音识别模块对采集到的轨道列车驾驶员语音进行识别，提取语音关键词，语音关键词包括“轨道弯道、道岔、进路、信号”。对采集到的轨道列车驾驶员面部图像检测，识别唇部区域，通过对唇部特征提取和分析，识别出唇部动态动作，对唇部动态动作和语音进行特征融合，读取轨道列车驾驶员语音信息及其对应的信号指令内容，并发送给误判监测预警模块。
Kinect麦克风阵列捕获的音频数据流通过音频增强效果算法处理来屏蔽环境噪声。在轨道列车司机室内，即使轨道列车驾驶员离麦克风一定的距离，也能够进行语音命令的识别。Kinect阵列技术包含有效的噪声消除和回波抑制算法，同时采用波束成形技术通过每个独立设备的响应时间确定音源位置，并尽可能避免司机室环境噪声的影响。
步骤3：对步骤2的数据处理结果进行预警；
若轨道列车驾驶员心率数据超过人体正常心率阈值，发出预警信号，并将预警信息上报监控中心；
利用轨道列车驾驶员年龄、心率、连续驾驶时间以及连续驾驶时间内的PERCLOS值输入轨道列车驾驶员疲劳驾驶状态模型，得到轨道列车驾驶员疲劳状态，若轨道列车驾驶员处于疲劳状态，则发出预警信号，并将预警信息上报监控中心；
若列车信号指令信号、识别的手势指令信号和语音指令信号不匹配时，则发出预警信号，并将预警信息上报监控中心。
如图2所示，所述Kinect传感器采集阵列由3组相同的Kinect传感器组成，3组Kinect传感器依次排列在一个内角分别为55°、125°的等腰梯形装置上，在图2中1,2,3分别表示三组Kinect传感器，xoy平面为水平面。
使3组Kinect传感器视角边界和语音有效范围彼此重叠，将驾驶室环境分为3个工作区域，实现Kinect传感器对轨道列车司机室图像和语音采集的全覆盖；
所述轨道列车驾驶员疲劳驾驶状态模型的构建过程如下：
将采集的历史数据中的至少1000组轨道列车驾驶员年龄、心率、连续驾驶时间以及连续驾驶时间内的PERCLOS值和对应的轨道列车驾驶员疲劳状态作为训练数据，以轨道列车驾驶员年龄、心率、连续驾驶时间以及连续驾驶时间内的PERCLOS值作为神经网络中输入层神经元，以轨道列车驾驶员的疲劳状态作为输出层神经元，预设隐藏层神经元个数，不断的对神经网络进行训练，自适应调整神经网络权值，获得轨道列车驾驶员疲劳驾驶状态模型。
一种基于Kinect的轨道列车驾驶员状态的实时监测预警系统，包括：
Kinect传感器采集阵列，用于采集轨道列车驾驶员工作状态信息并将采集的信息发送至数据处理模块；
所述轨道列车驾驶员工作状态信息包括轨道列车驾驶员彩色图像数据、深度数据、骨骼图像数据以及语音数据；
数据处理模块，用于对采集的轨道列车驾驶员工作状态信息进行检测和识别，同时将检测和识别结果发送至预警装置；
所述数据处理模块包括Kinect传感器心率检测模块、Kinect传感器面部图像处理模块、Kinect传感器手势识别模块及Kinect传感器语音识别模块；
所述检测和识别结果包括轨道列车驾驶员心率、身份识别结果、闭眼时间占连续驾驶时间的比例PERCLOS值、手势指令信号和语音指令信号；
预警装置，用于依据数据处理模块得到的检测和识别结果数据进行预警；
若轨道列车驾驶员心率数据超过人体正常心率阈值，发出预警信号，并将预警信息上报监控中心；
利用轨道列车驾驶员年龄、心率、连续驾驶时间以及连续驾驶时间内的PERCLOS值输入轨道列车驾驶员疲劳驾驶状态模型，得到轨道列车驾驶员疲劳状态，若轨道列车驾驶员处于疲劳状态，则发出预警信号，并将预警信息上报监控中心；
若列车信号指令信号、识别的手势指令信号和语音指令信号不匹配时，则发出预警信号，并将预警信息上报监控中心。
所述Kinect传感器采集阵列由3组相同的Kinect传感器组成，将3组Kinect传感器依次排列在一个内角分别为55°、125°的等腰梯形装置上。
所述处理模块对采集的信息处理过程如下：
所述Kinect传感器心率检测模块对采集到的轨道列车驾驶员彩色图像进行轨道列车驾驶员心率检测；
本发明采用Kinect传感器采集阵列，扩展了Kinect传感器功能，同时通过Kinect传感器采集阵列采集图像数据，能在轨道列车驾驶员不同头部姿态任意角度获取心率数据；
所述Kinect传感器面部图像处理模块对采集到的轨道列车驾驶员彩色图像进行身份识别，同时，从提取的面部特征中的眼部区域特征，识别闭眼动作，获得闭眼时间占连续驾驶时间的比例PERCLOS值；
所述Kinect传感器手势识别模块对采集到的轨道列车驾驶员骨骼图像数据和深度数据进行手势识别与匹配，获得轨道列车驾驶员发出的手势指令信号；
所述Kinect传感器语音识别模块对采集到的轨道列车驾驶员语音数据进行语音关键词提取，并结合面部特征中的唇部区域特征，识别出唇部动态动作，将语音关键词和唇部动态动作进行特征融合匹配，获取轨道列车驾驶员发出的语音指令信号。
综上所述，本发明只采用一种Kinect传感器实现了对列车轨道列车驾驶员的全状态监测预警，结构简单，实现了对列车轨道列车驾驶员生理状态、疲劳状态和操作状态的监测，明显提高轨道列车的运营安全性。
以上内容是本发明具体实施方式的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为本发明由所提交的权利要求书确定的专利保护范围。

Claims (6)

1.一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法，其特征在于，包括以下步骤：
步骤1：利用设置于驾驶室前方的Kinect传感器采集阵列采集轨道列车驾驶员工作状态信息；
所述轨道列车驾驶员工作状态信息包括轨道列车驾驶员彩色图像数据、深度数据、骨骼图像数据以及语音数据；
步骤2：对轨道列车驾驶员工作状态信息进行数据处理；
对采集到的轨道列车驾驶员彩色图像进行轨道列车驾驶员心率检测；
对采集到的轨道列车驾驶员彩色图像进行身份识别，同时，从提取的面部特征中的眼部区域特征，识别闭眼动作，获得闭眼时间占连续驾驶时间的比例PERCLOS值；
对采集到的轨道列车驾驶员骨骼图像数据和深度数据进行手势识别与匹配，获得轨道列车驾驶员发出的手势指令信号；
对采集到的轨道列车驾驶员语音数据进行语音关键词提取，并结合面部特征中的唇部区域特征，识别出唇部动态动作，将语音关键词和唇部动态动作进行特征融合匹配，获取轨道列车驾驶员发出的语音指令信号；
步骤3：对步骤2的数据处理结果进行预警；
若轨道列车驾驶员心率数据超过人体正常心率阈值，发出预警信号，并将预警信息上报监控中心；
利用轨道列车驾驶员年龄、心率、连续驾驶时间以及连续驾驶时间内的PERCLOS值输入轨道列车驾驶员疲劳驾驶状态模型，得到轨道列车驾驶员疲劳状态，若轨道列车驾驶员处于疲劳状态，则发出预警信号，并将预警信息上报监控中心；
若列车信号指令信号、识别的手势指令信号和语音指令信号不匹配时，则发出预警信号，并将预警信息上报监控中心。
2.根据权利要求1所述的方法，其特征在于，所述Kinect传感器采集阵列由3组相同的Kinect传感器组成，3组Kinect传感器依次排列在一个内角分别为55°、125°的等腰梯形装置上。
3.根据权利要求1或2所述的方法，其特征在于，所述轨道列车驾驶员疲劳驾驶状态模型的构建过程如下：
将采集的历史数据中的至少1000组轨道列车驾驶员年龄、心率、连续驾驶时间以及连续驾驶时间内的PERCLOS值和对应的轨道列车驾驶员疲劳状态作为训练数据，以轨道列车驾驶员年龄、心率、连续驾驶时间以及连续驾驶时间内的PERCLOS值作为神经网络中输入层神经元，以轨道列车驾驶员的疲劳状态作为输出层神经元，预设隐藏层神经元个数，不断的对神经网络进行训练，自适应调整神经网络权值，获得轨道列车驾驶员疲劳驾驶状态模型。
4.一种基于Kinect的轨道列车驾驶员状态的实时监测预警系统，其特征在于，包括：
Kinect传感器采集阵列，用于采集轨道列车驾驶员工作状态信息并将采集的信息发送至数据处理模块；
所述轨道列车驾驶员工作状态信息包括轨道列车驾驶员彩色图像数据、深度数据、骨骼图像数据以及语音数据；
数据处理模块，用于对采集的轨道列车驾驶员工作状态信息进行检测和识别，同时将检测和识别结果发送至预警装置；
所述数据处理模块包括Kinect传感器心率检测模块、Kinect传感器面部图像处理模块、Kinect传感器手势识别模块及Kinect传感器语音识别模块；
所述检测和识别结果包括轨道列车驾驶员心率、身份识别结果、闭眼时间占连续驾驶时间的比例PERCLOS值、手势指令信号和语音指令信号；
预警装置，用于依据数据处理模块得到的检测和识别结果数据进行预警；
若轨道列车驾驶员心率数据超过人体正常心率阈值，发出预警信号，并将预警信息上报监控中心；
利用轨道列车驾驶员年龄、心率、连续驾驶时间以及连续驾驶时间内的PERCLOS值输入轨道列车驾驶员疲劳驾驶状态模型，得到轨道列车驾驶员疲劳状态，若轨道列车驾驶员处于疲劳状态，则发出预警信号，并将预警信息上报监控中心；
若列车信号指令信号、识别的手势指令信号和语音指令信号不匹配时，则发出预警信号，并将预警信息上报监控中心。
5.根据权利要求4所述的系统，其特征在于，所述Kinect传感器采集阵列由3组相同的Kinect传感器组成，将3组Kinect传感器依次排列在一个内角分别为55°、125°的等腰梯形装置上。
6.根据权利要求4或5所述的系统，其特征在于，所述处理模块对采集的信息处理过程如下：
所述Kinect传感器心率检测模块对采集到的轨道列车驾驶员彩色图像进行轨道列车驾驶员心率检测；
所述Kinect传感器面部图像处理模块对采集到的轨道列车驾驶员彩色图像进行身份识别，同时，从提取的面部特征中的眼部区域特征，识别闭眼动作，获得闭眼时间占连续驾驶时间的比例PERCLOS值；
所述Kinect传感器手势识别模块对采集到的轨道列车驾驶员骨骼图像数据和深度数据进行手势识别与匹配，获得轨道列车驾驶员发出的手势指令信号；
所述Kinect传感器语音识别模块对采集到的轨道列车驾驶员语音数据进行语音关键词提取，并结合面部特征中的唇部区域特征，识别出唇部动态动作，将语音关键词和唇部动态动作进行特征融合匹配，获取轨道列车驾驶员发出的语音指令信号。
CN201710470384.7A 2017-06-20 2017-06-20 一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法与系统 Active CN107126224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710470384.7A CN107126224B (zh) 2017-06-20 2017-06-20 一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710470384.7A CN107126224B (zh) 2017-06-20 2017-06-20 一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法与系统

Publications (2)

Publication Number Publication Date
CN107126224A CN107126224A (zh) 2017-09-05
CN107126224B true CN107126224B (zh) 2018-02-06

Family

ID=59735420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710470384.7A Active CN107126224B (zh) 2017-06-20 2017-06-20 一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法与系统

Country Status (1)

Country Link
CN (1) CN107126224B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729986B (zh) * 2017-09-19 2020-11-03 平安科技（深圳）有限公司 驾驶模型训练方法、驾驶人识别方法、装置、设备及介质
CN108229345A (zh) * 2017-12-15 2018-06-29 吉利汽车研究院（宁波）有限公司 一种驾驶员检测系统
CN108701214A (zh) * 2017-12-25 2018-10-23 深圳市大疆创新科技有限公司 图像数据处理方法、装置及设备
CN108211218A (zh) * 2017-12-29 2018-06-29 上海理工大学 一种基于Kinect所测生理信号控制速度的电动跑步机
CN109987036A (zh) * 2017-12-29 2019-07-09 周秦娜 一种基于驾驶员身体姿态提高交互准确度的控制方法
CN108446586B (zh) * 2018-01-31 2022-02-08 上海数迹智能科技有限公司 一种列车驾驶员特定动作检测方法
CN108960067B (zh) * 2018-06-05 2021-04-13 北京华纵科技有限公司 基于深度学习的实时的列车驾驶员动作识别系统和方法
CN108830246B (zh) * 2018-06-25 2022-02-15 中南大学 一种交通环境行人多维运动特征视觉提取方法
CN109124625B (zh) * 2018-09-04 2021-07-20 大连理工大学 一种驾驶员疲劳状态水平分级方法
CN109446878A (zh) * 2018-09-04 2019-03-08 四川文轩教育科技有限公司 一种基于机器学习的视觉疲劳度检测方法
CN109460703B (zh) * 2018-09-14 2022-03-29 华南理工大学 一种基于心率和面部特征的非侵入式疲劳驾驶识别方法
CN109102881A (zh) * 2018-10-12 2018-12-28 河北健康侍卫网络科技有限公司 一种智能中医家庭监护报警系统
CN109740625A (zh) * 2018-11-22 2019-05-10 深圳市三诺数字科技有限公司 一种基于特征融合的安全驾驶判别方法、系统及车辆
CN109830238B (zh) * 2018-12-24 2021-07-30 北京航空航天大学 塔台管制员工作状态的检测方法、装置及系统
CN109902663A (zh) * 2019-03-21 2019-06-18 南京华捷艾米软件科技有限公司 疲劳驾驶预警方法和疲劳驾驶预警装置
CN109927730B (zh) * 2019-03-26 2021-01-26 武汉极目智能技术有限公司 一种基于dms系统的实时疲劳驾驶行为评分系统和方法
CN110192881A (zh) * 2019-06-06 2019-09-03 湖南云感科技有限公司 一种驾驶员生命体征监测警示方法
CN110472549A (zh) * 2019-08-09 2019-11-19 紫荆智维智能科技研究院(重庆)有限公司 基于车载gpu加速的列车驾驶员动作实时识别系统及方法
CN110522426A (zh) * 2019-09-05 2019-12-03 大连海事大学 一种基于多传感器的舰船人员行为智能监测系统
CN110727346B (zh) * 2019-09-24 2022-09-23 中国第一汽车股份有限公司 一种人机交互方法、装置、车辆及存储介质
JPWO2021064985A1 (zh) * 2019-10-04 2021-04-08
CN110807899A (zh) * 2019-11-07 2020-02-18 交控科技股份有限公司 一种司机状态综合监测方法和系统
CN113066263A (zh) * 2020-01-02 2021-07-02 中车株洲电力机车研究所有限公司 一种预防疲劳驾驶的方法及装置
CN111240486B (zh) * 2020-02-17 2021-07-02 河北冀联人力资源服务集团有限公司 一种基于边缘计算的数据处理方法及系统
CN114084174B (zh) * 2020-07-30 2023-03-24 株洲中车时代电气股份有限公司 一种列车司机行为识别装置及识别方法
CN112417983A (zh) * 2020-10-28 2021-02-26 在行(杭州)大数据科技有限公司 基于多源数据的车辆驾驶员判定方法、装置、设备及介质
CN112598953B (zh) * 2020-12-30 2022-11-29 成都运达科技股份有限公司 一种基于列车驾驶仿真系统乘务员的评价系统及方法
CN112861677A (zh) * 2021-01-28 2021-05-28 上海商汤临港智能科技有限公司 轨交驾驶员的动作检测方法及装置、设备、介质及工具
CN113420961A (zh) * 2021-05-31 2021-09-21 湖南森鹰智造科技有限公司 基于智能感知的铁路机车驾驶安全辅助系统
CN113246996B (zh) * 2021-06-25 2022-09-06 中南大学 一种列车驾驶员职业健康在线监测系统及方法
CN113602287B (zh) * 2021-08-13 2024-01-26 吉林大学 一种面向低驾龄驾驶员的人机共驾系统
CN114582090A (zh) * 2022-02-27 2022-06-03 武汉铁路职业技术学院 一种轨道车辆驾驶监测预警系统
CN115067876A (zh) * 2022-05-07 2022-09-20 北京机械设备研究所 一种融合人体疲劳量化值的外骨骼助力控制方法以及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2831648T3 (es) * 2010-11-24 2021-06-09 Digital Artefacts Llc Sistemas y métodos para evaluar la función cognitiva
WO2015086855A1 (en) * 2013-12-14 2015-06-18 Viacam Sarl Camera-based tracking system for the determination of physical, physiological and/or biometric data and/or for risk assessment
CN104828095B (zh) * 2014-09-02 2018-06-19 北京宝沃汽车有限公司 检测驾驶员驾驶状态的方法、装置及系统
CN104732251B (zh) * 2015-04-23 2017-12-22 郑州畅想高科股份有限公司 一种基于视频的机车司机驾驶状态检测方法
CN105551182A (zh) * 2015-11-26 2016-05-04 吉林大学 基于Kinect人体姿势识别的驾驶状态监测系统

Also Published As

Publication number Publication date
CN107126224A (zh) 2017-09-05

Similar Documents

Publication Publication Date Title
CN107126224B (zh) 一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法与系统
CN110077414B (zh) 一种基于驾驶员状态监测的车辆行驶安全保障方法及系统
WO2021248687A1 (zh) 伪3d卷积神经网络与注意力机制结合的驾驶疲劳检测方法及系统
CN108791299B (zh) 一种基于视觉的驾驶疲劳检测及预警系统及方法
CN104732251B (zh) 一种基于视频的机车司机驾驶状态检测方法
CN110103816B (zh) 一种驾驶状态检测方法
CN105938657A (zh) 一种无人驾驶车辆的听觉感知与智能决策系统
CN110509983A (zh) 一种适用于不同驾驶需求的线控转向路感反馈装置
US11514688B2 (en) Drowsiness detection system
CN202130312U (zh) 一种驾驶员疲劳驾驶监控装置
CN101540090A (zh) 基于多元信息融合的驾驶员疲劳监测装置及其监测方法
CN110826369A (zh) 一种驾驶员驾驶时注意力检测方法和系统
CN112633057B (zh) 一种公交车内异常行为智能监控方法
CN104786934B (zh) 一种车辆行驶数据管理系统及实现方法
CN113642522B (zh) 基于音视频的疲劳状态检测方法和装置
CN103315754B (zh) 一种疲劳检测方法及装置
Ahmed et al. Robust driver fatigue recognition using image processing
CN113887386B (zh) 基于深度学习和机器学习的多特征融合的疲劳检测方法
CN110525447A (zh) 一种防商用车驾驶员路怒的人机共驾系统
CN114092922A (zh) 一种基于特异性的驾驶员情绪识别及行为干预方法
CN115937830A (zh) 一种面向特种车辆的驾驶员疲劳检测方法
CN117227740A (zh) 一种智能驾驶车辆的多模态感知系统及方法
CN115294730A (zh) 一种基于ai视频与毫米波雷达融合技术的疲劳驾驶监测系统
CN118289021A (zh) 基于多源数据融合的驾驶安全系统及智控方法
CN113276867A (zh) 一种自动驾驶情景下的脑电波紧急控制系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant