CN109394225A - 一种多特征融合的人因风险实时检测方法及装置 - Google Patents

一种多特征融合的人因风险实时检测方法及装置 Download PDF

Info

Publication number
CN109394225A
CN109394225A CN201811028190.2A CN201811028190A CN109394225A CN 109394225 A CN109394225 A CN 109394225A CN 201811028190 A CN201811028190 A CN 201811028190A CN 109394225 A CN109394225 A CN 109394225A
Authority
CN
China
Prior art keywords
data
dispatcher
audio
people
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811028190.2A
Other languages
English (en)
Inventor
侯勇
许凌
刘林林
徐昊
朱文
王臻
傅山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
East China Grid Co Ltd
Original Assignee
Shanghai Jiaotong University
East China Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University, East China Grid Co Ltd filed Critical Shanghai Jiaotong University
Priority to CN201811028190.2A priority Critical patent/CN109394225A/zh
Publication of CN109394225A publication Critical patent/CN109394225A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Cardiology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Physiology (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开了一种多特征融合的人因风险实时检测方法及装置，所述方法包括：步骤S1，采集反事故过程中的人因测试数据；步骤S2，对采集的人因测试数据进行处理；步骤S3，于数据处理过程中提取出反事故过程中调度员的行为、音频以及生理信号中变化的特征；步骤S4，利用数据的采样时间戳，将分别从视频、音频以及生理测量数据中提取的具有不同帧率的多种特征逐帧进行时间对准，实现多通道同步关联；步骤S5，对所有特征数据指标进行权重分配，利用主成分分析方法确定各个指标的权重，最终将贡献率最大的若干特征代入综合评价函数，对调度员出现人为失误的风险进行评价，本发明解决了目前电力系统中滞后的人因风险事故分析和低效的人因风险因素检测问题。

Description

一种多特征融合的人因风险实时检测方法及装置
技术领域
本发明涉及人因风险检测技术领域，特别是涉及一种多特征融合的人因风险实时检测方法及装置。
背景技术
随着国家智能电网战略的推进，调度自动化系统的部署、智能电子装置和远动程序化控制等技术的应用进一步保证了设备的可靠运行，与此同时，电网人为因素导致的操作失效也随之凸显。电网运行日前计划安排、调度控制命令下达以及故障定位排除和设备巡视、检修等工作需要运行人员参与完成的。而运行人员由于受自身知识水平限制以及外部环境压力的影响，极有可能无法快速、准确地完成既定操作，造成设备损坏、故障扩大等严重后果。目前，国民经济的迅速发展在很大程度上已非常依赖于电能的普遍使用，随着电网规模的不断扩大，电力系统事故的影响也越来越大，通过分析近年来的电网事故发现，由人的因素诱发的事故已成为复杂技术系统主要的事故源之一。据统计，美国电力公司每年休工8天以上的事故中，有96％的事故与人的不安全行为有关。
经调查，目前人因可靠性分析的研究在核电厂，航空航天等领域已成为概率安全分析不可或缺的一部分，而在电力领域仍处于起步阶段，对电网调度人员只进行简单的操作风险培训工作，对人因失误的分析只限于事后简单分析和事故统计，无法做到连续实时分析，对实际调度过程的人因风险预测有效性低。因此，在保证电网能够稳定运行方面，深入理解人为因素在电网调控中的影响，及时检测发现人为失误给电网带来的安全隐患等问题亟待解决。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种多特征融合的人因风险实时检测方法及装置，以解决目前电网系统中滞后的人因风险事故分析和低效的人因风险因素检测问题。
为达上述及其它目的，本发明提出一种多特征融合的人因风险实时检测方法，包括如下步骤：
步骤S1，采集反事故过程中的人因测试数据；
步骤S2，对采集的人因测试数据进行处理，实现对调度员的行为动作、语音信息以及生理压力变化的分析；
步骤S3，于数据处理过程中提取出反事故过程中调度员的行为、音频以及生理信号中多方面变化的特征；
步骤S4，将视频数据、音频数据以及生理参数数据等由多个不同设备记录下来具有不同的采样率的数据实现同步关联；
步骤S5，对所有特征数据指标进行权重分配，利用主成分分析方法确定各个指标的权重，最终将贡献率最大的若干特征代入综合评价函数，对调度员出现人为失误的风险进行评价。
优选地，步骤S2进一步包括
步骤S200，对人因测试数据中的视频数据利用人脸检测和运动检测结合的方式对调度员进行行为分析，获得调度员的运动量信息；
步骤S201，对人因测试数据中的音频数据采用音频处理方法进行调度员信息处理方面的分析；
步骤S202，对人因测试数据中的生理参数数据进行处理，得到反映调度员生理变化的数据。
优选地，于步骤S3中，于数据处理过程中提取视频行为的帧间差分特征，语音短时能量、短时过零率、谱熵和心率等特征。
优选地，步骤S4进一步包括：
步骤S400，在检测之前，将采集各人因测试数据的每个设备的系统时间同步到本地同一网络中的服务器时间从而所有的测量数据被统一收集。
步骤S401，将该些数据根据每个样本的时间戳进行对齐和整合，从而实现数据的同步关联。
优选地，于步骤S1中，采用心率检测设备记录调度员的心率信息，利用摄像装置采集反事故演习室的调度场景视频数据，并利用音频采集装置对调度电话进行录音，以获得音频数据。
为达上述目的，本发明还提供一种多特征融合的人因风险实时检测装置，包括：
人因测试数据采集单元，用于采集反事故过程中的人因测试数据；
原始数据处理单元，用于对采集的人因测试数据进行处理，实现对调度员的行为动作、语音信息以及生理压力变化的分析；
特征提取单元，用于于所述原始数据处理单元的数据处理过程中提取出反事故过程中调度员的行为、音频以及生理信号中多方面变化的特征；
数据关联单元，用于将视频数据、音频数据以及生理参数数据等由多个不同设备记录下来具有不同的采样率的数据实现同步关联；
综合评价单元，用于对所有特征数据指标进行权重分配，利用主成分分析方法确定各个指标的权重，最终将贡献率最大的若干特征代入综合评价函数，对调度员出现人为失误的风险进行评价。
优选地，原始数据处理单元进一步包括：
视频数据处理单元，用于对人因测试数据中的视频数据利用人脸检测和运动检测结合的方式对调度员进行行为分析，获得调度员的运动量信息；
音频数据处理单元，用于对人因测试数据中的音频数据采用音频处理方法进行调度员信息处理方面的分析；
生理参数数据处理单元，用于对人因测试数据中的生理参数数据进行处理，得到反映调度员生理变化的数据。
优选地，所述特征提取单元于数据处理过程中提取视频行为的帧间差分特征，语音短时能量、短时过零率、谱熵和心率等特征。
优选地，所述数据关联单元进一步包括：
时间同步单元，用于在检测之前，将采集各人因测试数据的每个设备的系统时间同步到本地同一网络中的服务器时间从而所有的测量数据被统一收集；
整合单元，用于将该些数据根据每个样本的时间戳进行对齐和整合，从而实现数据的同步关联。
优选地，所述人因测试数据采集单元采用心率检测设备记录调度员的心率信息，利用摄像装置采集反事故演习室的调度场景视频数据，并利用音频采集装置对调度电话进行录音，以获得音频数据。
与现有技术相比，本发明一种多特征融合的人因风险实时检测方法及装置通过采集调度员生理参数数据和实时监测调度员的调度行为，以用来检测电网调控人员认知行为特征，能够实时有效地对调度员生理参数测量和调度行为进行监测，并对得到的多特征数据进行信息融合，通过综合评价关系式对调度员人为因素进行综合评价，从而达到对调度员出现人为失误的风险进行实时检测的效果，解决了电力系统中低效滞后的人因风险因素预测问题，又利用多特征融合的综合评价方法，弥补了目前电力系统中单一人为因素评价的空缺。本发明充分考虑了人因风险评价系统中综合和实时的双重重要因素，从而达到多特征融合的人因风险实时检测的效果。
附图说明
图1为本发明一种多特征融合的人因风险实时检测方法的步骤流程图；
图2为本发明一种多特征融合的人因风险实时检测装置的系统架构图；
图3为本发明具体实施例之多特征融合的人因风险实时检测系统的结构图。
图4为本发明具体实施之视频处理结果示例图。
图5为本发明具体实施值音频处理结果示例图。
图6为本发明具体实施之生理测量数据处理结果示例图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种多特征融合的人因风险实时检测方法的步骤流程图。如图1所示，本发明一种多特征融合的人因风险实时检测方法，包括如下步骤：
步骤S1，采集反事故过程中的人因测试数据。具体地说，于反事故实际场景中，对调度员在整个反事故过程中进行连续实时的人因测试数据采集，进行多指标客观数据的测量。这里的人因测试数据包括生理参数数据、视频数据及音频数据，具体地，在反事故过程中时，由于任务量大，调度员常处于高度紧张的状态，症状表征为瞳孔扩大，心跳加速等症状，因此本发明采用例如心率传感器等心率检测设备全程记录调度员的心率信息，同时利用摄像装置拍摄反事故演习室的调度场景视频数据，并利用音频采集装置对调度电话进行录音，以获得音频数据，在本发明具体实施例种，所述摄像装置可采用广角高清摄像头，音频采集装置可采用麦克风等音频设备，但本发明不以此为限。
步骤S2，对采集的人因测试数据进行处理，实现对调度员的行为动作、语音信息以及生理压力变化的分析。
具体地，步骤S2进一步包括：
步骤S200，对人因测试数据中的视频数据利用肤色检测和运动检测结合的方式对调度员进行行为分析，获得调度员的运动量信息。具体地说，当紧急故障发生时，调度员的动作幅度会远大于正常工作时，因此为检测调度员的肢体动作和幅度，本发明采用基于皮肤的检测方法，但是，有时背景中会存在某些场景与人的肤色相近，而且某些噪声偶尔也会被误认为肤色区域。因此，本发明采用把基于肤色检测和基于运动检验相结合的方法来分析调度员的行为动作以获得调度员的运动量信息。视频处理结果如图4所示，图4(a)为监控视频图像，图4(b)则为基于肤色检测和基于运动检验相结合的方法检测出运动中的肢体部分的结果。
步骤S201，对人因测试数据中的音频数据采用音频处理方法进行调度员信息处理方面的分析，这里的音频处理方法包括但不限于时频分析、信号分割和语音增强等处理方法，在本发明具体实施例中，采用带通滤波器从原始音频信号中提取语音信号，其音频处理结果如图5所示，其中图5(a)为原始音频信号，图5(b)带通滤波后提取的语音信号。
步骤S202，对人因测试数据中的生理参数数据进行处理，得到反映调度员生理变化的数据。在本发明具体实施例中，所述生理参数数据为心率数据，即对心率信号处理，得到反映调度员心理压力变化数据。在本发明具体实施例中，主要通过阈值处理与平滑处理消除原始心率测量数据中的野值，生理测量数据处理结果如图6所示。
步骤S3，于数据处理过程中提取出反事故过程中调度员的行为、音频以及生理信号中多方面变化的特征。在本发明具体实施例中，于数据处理过程中提取视频中的调度员肢体运动速度，语音短时能量、过零率、谱熵和心率等多方面特征。
步骤S4，利用数据的采样时间戳，将分别从视频、音频以及生理测量数据中提取的具有不同帧率的多种特征逐帧进行时间对准，实现多通道同步关联。
具体地，步骤S4进一步包括：
步骤S400，在检测之前，将每个设备的系统时间同步到本地同一网络中的服务器时间从而所有的测量数据被统一收集。
步骤S401，将该些数据根据每个样本的时间戳进行对齐和整合，从而实现数据的同步关联。具体地，于步骤S401中，可采用python程序根据每个样本的时间戳进行对齐和整合，从而实现数据的同步关联。
步骤S5，对所有特征数据指标进行权重分配，利用主成分分析方法确定各个指标的权重，最终将贡献率最大的几个主要特征代入综合评价函数，对调度员出现人为失误的风险进行评价和检测。在本发明具体实施例中，综合评价函数的表达式为：
W＝0.6902·zenergy+0.1637·zmotion+0.1379·zhr+0.0042·zentropy+0.0040·zzcr
其中zenergy、zmotion、zhr、zentropy和zzcr分别为语音短时能量、肢体运动速度、心率、语音功率谱熵以及语音过零率等指标在相应时刻的标准化值(Z-score)。
图2为本发明一种多特征融合的人因风险实时检测装置的步骤流程图。如图2所示，本发明一种多特征融合的人因风险实时检测装置，包括：
人因测试数据采集单元201，用于采集反事故过程中的人因测试数据。具体地说，人因测试数据采集单元201于反事故实际场景中，对调度员在整个反事故过程中进行连续实时的人因测试数据采集，进行多指标客观数据的测量。这里的人因测试数据包括生理参数数据、视频数据及音频数据，具体地，由于在反事故过程中时，由于任务量大，调度员常处于高度紧张的状态，症状表征为瞳孔扩大，心跳加速等症状，因此人因测试数据采集单元201采用例如心率传感器等心率检测设备全程记录调度员的心率信息，同时利用摄像装置拍摄反事故演习室的调度场景视频数据，并利用音频采集装置对调度电话进行录音，以获得音频数据，在本发明具体实施例种，所述摄像装置可采用广角高清摄像头，音频采集装置可采用麦克风等音频设备，但本发明不以此为限。
原始数据处理单元202，用于对采集的人因测试数据进行处理，实现对调度员的行为动作、语音信息以及生理压力变化的分析。
具体地，原始数据处理单元202进一步包括：
视频数据处理单元，用于对人因测试数据中的视频数据利用肤色检测和运动检测结合的方式对调度员进行行为分析，获得调度员的运动量信息。具体地说，当紧急故障发生时，调度员的动作幅度会远大于正常工作时，因此为检测调度员的肢体动作和幅度，本发明采用基于皮肤的检测方法，但是，有时背景中会存在某些场景与人的肤色相近，而且某些噪声偶尔也会被误认为肤色区域。因此，本发明采用把基于肤色检测和基于运动检验相结合的方法来分析调度员的行为动作以获得调度员的运动量信息。
音频数据处理单元，用于对人因测试数据中的音频数据采用音频处理方法进行调度员信息处理方面的分析，这里的音频处理方法包括但不限于时频分析、信号分割和语音增强等处理方法，在本发明具体实施例中，音频数据处理单元采用带通滤波器从原始音频信号中提取语音信号。
生理参数数据处理单元，用于对人因测试数据中的生理参数数据进行处理，得到反映调度员生理变化的数据。在本发明具体实施例中，所述生理参数数据为心率数据，即对心率信号处理，得到反映调度员心理压力变化数据。具体地，生理参数数据处理单元可通过阈值处理与平滑处理消除原始心率测量数据中的野值。
特征提取单元203，用于于原始数据处理单元202的数据处理过程中提取出反事故过程中调度员的行为、音频以及生理信号中多方面变化的特征。在本发明具体实施例中，于数据处理过程中提取视频中的调度员肢体运动速度，语音短时能量、短时过零率、谱熵和心率等多方面变化特征。
数据关联单元204，用于利用数据的采样时间戳，将分别从视频、音频以及生理测量数据中提取的具有不同帧率的多种特征逐帧进行时间对准，实现多通道同步关联。
具体地，数据关联单元204进一步包括：
时间同步单元，用于在检测之前，将每个设备的系统时间同步到本地同一网络中的服务器时间从而所有的测量数据被统一收集。
整合单元，用于将该些数据根据每个样本的时间戳进行对齐和整合，从而实现数据的同步关联。具体地，整合单元可采用python程序根据每个样本的时间戳进行对齐和整合，从而实现数据的同步关联。
综合评价单元205，用于对所有特征数据指标进行权重分配，利用主成分分析方法确定各个指标的权重，最终将贡献率最大的几个主要特征代入综合评价函数，对调度员出现人为失误的风险进行评价和检测。在本发明具体实施例中，综合评价函数的表达式为：
W＝0.6902·zenergy+0.1637·zmotion+0.1379·zhr+0.0042·zentropy+0.0040·zzcr
其中zenergy、zmotion、zhr、zentropy和zzcr分别为语音短时能量、肢体运动速度、心率、语音功率谱熵以及语音过零率等指标在相应时刻的标准化值(Z-score)。
图3为本发明具体实施例之多特征融合的人因风险实时检测系统的结构图，在本发明具体实施例中，以国家电网有限公司华东调度分中心反事故实际场景为例，具体地，该多特征融合的人因风险实时检测系统包括：
人因测试数据采集模块，在国家电网有限公司华东调度分中心反事故实际场景中，对调度员在整个反事故过程中进行连续实时的多指标客观数据测量。主要包括生理参数方面的心率监测，由于反事故过程中时，任务量大，调度员常处于高度紧张的状态，症状表征为瞳孔扩大，心跳加速等症状，因此本发明具体实施例通过Mio Alpha无胸带心率手表全程记录调度员的心率信息，心率数据实时传输到电脑接收端，同时利用广角高清摄像头和麦克风拍摄演习室的调度场景，对调度电话进行录音。
原始数据处理模块包括视频处理、音频处理和生理信号处理等三部分。视频处理是通过肤色检测和运动检测结合的方式对调度员进行行为分析。当紧急故障发生时，调度员的动作幅度会远大于正常工作时，为检测调度员的肢体动作和幅度，常用基于皮肤的检测方法。但是，有时背景中会存在某些场景与人的肤色相近,而且某些噪声偶尔也会被误认为肤色区域。所以，本发明采用把基于肤色检验和基于运动检验相结合的方法分析调度员的行为动作获得运动量信息。音频处理部分是借助音频处理方法进行调度员信息处理方面的分析，包括时频分析、信号分割和语音增强等处理方法。生理信号处理主要对心率信号处理，得到反映调度员心理压力变化数据。
特征提取模块是对调度员进行数据处理过程中提取视频中的调度员肢体运动速度、语音短时能量、短时过零率、谱熵和心率等多方面变化特征。
数据关联模块，首先需要将视频数据、音频数据、心率数据等由多个不同设备记录下来具有不同的采样率的数据实现同步关联。主要分两步：首先，在实验之前，将每个设备的系统时间同步到本地同一网络中的服务器时间从而所有的测量数据被统一收集。然后，这些数据用自行开发的python程序根据每个样本的时间戳进行对齐和整合，从而实现数据的同步关联。
综合评价模块是对所有特征数据指标进行权重分配，利用主成分分析方法确定各个指标的权重，最终将贡献率最大的几个主要特征带入综合评价函数，对调度员出现人为失误的风险进行评价和检测。
综上所述，本发明一种多特征融合的人因风险实时检测方法及装置通过采集调度员生理参数数据和实时监测调度员的调度行为，以用来检测电网调控人员认知行为特征，能够实时有效地对调度员生理参数测量和调度行为进行监测，并对得到的多特征数据进行信息融合，通过综合评价关系式对调度员人为因素进行综合评价，从而达到对调度员出现人为失误的风险进行实时检测的效果，解决了电力系统中低效滞后的人因风险因素预测问题，又利用多特征融合的综合评价方法，弥补了目前电力系统中单一人为因素评价的空缺。本发明充分考虑了人因风险评价系统中综合和实时的双重重要因素，从而达到多特征融合的人因风险实时检测的效果。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种多特征融合的人因风险实时检测方法，包括如下步骤：
步骤S1，采集反事故过程中的人因测试数据；
步骤S2，对采集的人因测试数据进行处理，实现对调度员的行为动作、语音信息以及生理压力变化的分析；
步骤S3，于数据处理过程中提取出反事故过程中调度员的行为、音频以及生理信号中多方面变化的特征；
步骤S4，利用数据的采样时间戳，将分别从视频、音频以及生理测量数据中提取的具有不同帧率的多种特征逐帧进行时间对准，实现多通道同步关联；
步骤S5，对所有特征数据指标进行权重分配，利用主成分分析方法确定各个指标的权重，最终将贡献率最大的若干特征代入综合评价函数，对调度员出现人为失误的风险进行评价。
2.如权利要求1所述的一种多特征融合的人因风险实时检测方法，其特征在于，步骤S2进一步包括
步骤S200，对人因测试数据中的视频数据利用肤色检测和运动检测结合的方式对调度员进行行为分析，获得调度员的运动量信息；
步骤S201，对人因测试数据中的音频数据采用音频处理方法进行调度员信息处理方面的分析；
步骤S202，对人因测试数据中的生理参数数据进行处理，得到反映调度员生理变化的数据。
3.如权利要求1所述的一种多特征融合的人因风险实时检测方法，其特征在于：于步骤S3中，于数据处理过程中提取视频中的调度员肢体运动速度、语音短时能量、短时过零率、谱熵和心率等特征。
4.如权利要求1所述的一种多特征融合的人因风险实时检测方法，其特征在于，步骤S4进一步包括：
步骤S400，在检测之前，将采集各人因测试数据的每个设备的系统时间同步到本地同一网络中的服务器时间从而所有的测量数据被统一收集。
步骤S401，将该些数据根据每个样本的时间戳进行对齐和整合，从而实现数据的同步关联。
5.如权利要求1所述的一种多特征融合的人因风险实时检测方法，其特征在于，于步骤S1中，采用心率检测设备记录调度员的心率信息，利用摄像装置采集反事故演习室的调度场景视频数据，并利用音频采集装置对调度电话进行录音，以获得音频数据。
6.一种多特征融合的人因风险实时检测装置，包括：
人因测试数据采集单元，用于采集反事故过程中的人因测试数据；
原始数据处理单元，用于对采集的人因测试数据进行处理，实现对调度员的行为动作、语音信息以及生理压力变化的分析；
特征提取单元，用于于所述原始数据处理单元的数据处理过程中提取出反事故过程中调度员的行为、音频以及生理信号中多方面变化的特征；
数据关联单元，用于利用数据的采样时间戳，将分别从视频、音频以及生理测量数据中提取的具有不同帧率的多种特征逐帧进行时间对准，实现多通道同步关联；
综合评价单元，用于对所有特征数据指标进行权重分配，利用主成分分析方法确定各个指标的权重，最终将贡献率最大的若干特征代入综合评价函数，对调度员出现人为失误的风险进行评价。
7.如权利要求6所述的一种多特征融合的人因风险实时检测装置，其特征在于，原始数据处理单元进一步包括：
视频数据处理单元，用于对人因测试数据中的视频数据利用肤色检测和运动检测结合的方式对调度员进行行为分析，获得调度员的运动量信息；
音频数据处理单元，用于对人因测试数据中的音频数据采用音频处理方法进行调度员信息处理方面的分析；
生理参数数据处理单元，用于对人因测试数据中的生理参数数据进行处理，得到反映调度员生理变化的数据。
8.如权利要求7所述的一种多特征融合的人因风险实时检测装置，其特征在于：所述特征提取单元于数据处理过程中提取视频中的调度员肢体运动速度、语音短时能量、短时过零率、谱熵和心率等特征。
9.如权利要求6所述的一种多特征融合的人因风险实时检测方法，其特征在于，数据关联单元进一步包括：
时间同步单元，用于在检测之前，将采集各人因测试数据的每个设备的系统时间同步到本地同一网络中的服务器时间从而所有的测量数据被统一收集；
整合单元，用于将该些数据根据每个样本的时间戳进行对齐和整合，从而实现数据的同步关联。
10.如权利要求6所述的一种多特征融合的人因风险实时检测方法，其特征在于，所述人因测试数据采集单元采用心率检测设备记录调度员的心率信息，利用摄像装置采集反事故演习室的调度场景视频数据，并利用音频采集装置对调度电话进行录音，以获得音频数据。
CN201811028190.2A 2018-09-04 2018-09-04 一种多特征融合的人因风险实时检测方法及装置 Pending CN109394225A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811028190.2A CN109394225A (zh) 2018-09-04 2018-09-04 一种多特征融合的人因风险实时检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811028190.2A CN109394225A (zh) 2018-09-04 2018-09-04 一种多特征融合的人因风险实时检测方法及装置

Publications (1)

Publication Number Publication Date
CN109394225A true CN109394225A (zh) 2019-03-01

Family

ID=65463835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811028190.2A Pending CN109394225A (zh) 2018-09-04 2018-09-04 一种多特征融合的人因风险实时检测方法及装置

Country Status (1)

Country Link
CN (1) CN109394225A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643773A (zh) * 2021-07-16 2021-11-12 西南交通大学 铁路调度员心理适应性提升方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101238985A (zh) * 2007-02-09 2008-08-13 中国科学院心理研究所 一种基于模拟驾驶平台的心理和行为监测系统
CN101690666A (zh) * 2009-10-13 2010-04-07 北京工业大学 汽车驾驶员驾驶工作负荷计算方法
CN102289660A (zh) * 2011-07-26 2011-12-21 华南理工大学 一种基于手部姿态跟踪的违规驾驶行为检测方法
CN102727223A (zh) * 2012-06-18 2012-10-17 天津大学 基于多生理参数pca融合的脑力负荷测量方法
CN105261152A (zh) * 2015-09-30 2016-01-20 中国民用航空总局第二研究所 基于聚类分析的空中交通管制员疲劳检测方法、装置和系统
CN106057212A (zh) * 2016-05-19 2016-10-26 华东交通大学 基于语音个性特征和模型自适应的驾驶疲劳检测方法
CN106571055A (zh) * 2016-10-28 2017-04-19 广州广电银通金融电子科技有限公司 一种基于物联网的智能车辆管理系统及方法
US9804012B2 (en) * 2008-06-30 2017-10-31 Rohm Co., Ltd. Vehicle traveling information recording device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101238985A (zh) * 2007-02-09 2008-08-13 中国科学院心理研究所 一种基于模拟驾驶平台的心理和行为监测系统
US9804012B2 (en) * 2008-06-30 2017-10-31 Rohm Co., Ltd. Vehicle traveling information recording device
CN101690666A (zh) * 2009-10-13 2010-04-07 北京工业大学 汽车驾驶员驾驶工作负荷计算方法
CN102289660A (zh) * 2011-07-26 2011-12-21 华南理工大学 一种基于手部姿态跟踪的违规驾驶行为检测方法
CN102727223A (zh) * 2012-06-18 2012-10-17 天津大学 基于多生理参数pca融合的脑力负荷测量方法
CN105261152A (zh) * 2015-09-30 2016-01-20 中国民用航空总局第二研究所 基于聚类分析的空中交通管制员疲劳检测方法、装置和系统
CN106057212A (zh) * 2016-05-19 2016-10-26 华东交通大学 基于语音个性特征和模型自适应的驾驶疲劳检测方法
CN106571055A (zh) * 2016-10-28 2017-04-19 广州广电银通金融电子科技有限公司 一种基于物联网的智能车辆管理系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
林松 主编，陈飞霞 副主编: "《驾驶员与乘客心理学》", 28 February 2015, 中国物资出版社 *
葛佳烨；王臻；王健；何星: "基于电网调度人员行为多特征融合的人因风险检测", 《中国自动化学会控制理论专业委员会.第37届中国控制会议论文集（E）》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643773A (zh) * 2021-07-16 2021-11-12 西南交通大学 铁路调度员心理适应性提升方法及系统
CN113643773B (zh) * 2021-07-16 2023-02-28 西南交通大学 铁路调度员心理适应性提升方法及系统

Similar Documents

Publication Publication Date Title
Hassan et al. COVID-19 detection system using recurrent neural networks
Belkacem et al. End-to-end AI-based point-of-care diagnosis system for classifying respiratory illnesses and early detection of COVID-19: A theoretical framework
EP3279700B1 (en) Security inspection centralized management system
CN105225420B (zh) 基于主成分分析的空中交通管制员疲劳检测方法、装置和系统
CN110867196A (zh) 一种基于深度学习及声音识别的机器设备状态监测系统
CN105261152B (zh) 基于聚类分析的空中交通管制员疲劳检测方法、装置和系统
CN106580282A (zh) 一种人体健康监测装置、系统及方法
CN103310113B (zh) 一种基于频带分离和数据建模的通用血糖预测方法
CN109034509A (zh) 作业人员评价系统、作业人员评价装置及评价方法
CN105282502B (zh) 基于置信区间的空中交通管制员疲劳检测方法、装置和系统
CN110717461A (zh) 一种疲劳状态识别方法、装置和设备
CN110364260A (zh) 基于指示性语言范式的孤独症早期评估装置及系统
CN109394225A (zh) 一种多特征融合的人因风险实时检测方法及装置
CN113378702B (zh) 一种用于登杆作业的多特征融合的疲劳监测识别方法
CN114742090A (zh) 一种基于精神疲劳监测的驾驶舱人机交互系统
CN113327404A (zh) 空中交通管制员岗位疲劳状态监测告警系统
CN116665419B (zh) 电力生产作业中基于ai分析的故障智能预警系统及方法
CN112270990A (zh) 一种具备生命体征记录功能的监狱人员远程点名系统和方法
CN107221128B (zh) 一种便携式人体跌倒风险的评价和预警系统及其方法
CN116176599A (zh) 一种基于酒精检测的设备使用权限管理系统
Li et al. Enhancing ADHD detection using DIVA interview-based audio signals and a two-stream network
Song et al. A multidimensional workload assessment method for power grid dispatcher
CN105354830B (zh) 基于多重回归模型的管制员疲劳检测方法、装置及系统
Raj et al. Voice pathology detection based on deep neural network approach
CN115620219A (zh) 一种基于人工智能的监管场所隐患及异常行为监测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190301

RJ01 Rejection of invention patent application after publication