CN105877766B - 一种基于多生理信号融合的精神状态检测系统及方法 - Google Patents
一种基于多生理信号融合的精神状态检测系统及方法 Download PDFInfo
- Publication number
- CN105877766B CN105877766B CN201610452456.0A CN201610452456A CN105877766B CN 105877766 B CN105877766 B CN 105877766B CN 201610452456 A CN201610452456 A CN 201610452456A CN 105877766 B CN105877766 B CN 105877766B
- Authority
- CN
- China
- Prior art keywords
- signal
- user
- neural network
- detection
- physiological
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000004927 fusion Effects 0.000 title claims abstract description 21
- 210000004556 brain Anatomy 0.000 claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims description 34
- 239000000284 extract Substances 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 9
- 210000000707 wrist Anatomy 0.000 claims description 6
- 230000035479 physiological effects, processes and functions Effects 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000011897 real-time detection Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 5
- 230000005611 electricity Effects 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 abstract description 3
- 230000007812 deficiency Effects 0.000 abstract description 3
- 230000002452 interceptive effect Effects 0.000 abstract description 3
- 230000007774 longterm Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 12
- 238000012549 training Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- VZCCETWTMQHEPK-QNEBEIHSSA-N gamma-linolenic acid Chemical compound CCCCC\C=C/C\C=C/C\C=C/CCCCC(O)=O VZCCETWTMQHEPK-QNEBEIHSSA-N 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical group OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Pulmonology (AREA)
- Power Engineering (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明提出一种基于多生理信号融合的精神状态检测系统及方法，属于数字信号处理及可穿戴智能设备领域，系统包括脑电采集单元、生理信号采集单元，处理器单元和提示警告单元，本发明融合多种生理信号，利用各自的特征对人不同的状态进行判别分析，并借助分类器模型达到预期的分类识别效果；相对来说，弥补了单一生理信号特征检测的不足；以脑电、皮温、心率、脉搏等生理信号为基础的检测方法是一种隐式人机交换，在不干涉人的正常生活的情况下，实现对人体自然状态下的精神状态的长期检测。
Description
技术领域
本发明属于数字信号处理及可穿戴智能设备领域，具体涉及一种基于多生理信号融合的精神状态检测系统及方法。
背景技术
随着人机交互技术和可穿戴设备技术的发展，生理信号被广泛地应用于交互的设计和评价，研究表明已经可以利用人的生理信号来判别精神状态和精神压力，并且在许多领域基于这种生理信号的检测方法逐渐得到研究人员的重视，这些领域主要包括人机交互、情感计算、自适应技术等。
目前，对人的精神状态的检测主要包括主观检测和客观检测。主观检测主要是通过主观评价表来进行评定的，这种方法比较简单，但是主要依靠人的主观判断，差异性大，可靠性较低，一般不能作为评价状态的标准尺度。客观检测主要是基于生理特征和基于机器视觉的面部特征的检测，其中，基于生理信号的检测的优点在于，记录的生理信号具有非常高的时间分辨率，很难受到人的主观意愿的影响，从而能够客观地反应出人的状态；而利用视频采集人的面部特征的判别方法容易受光照条件的影响，并对视频检测技术的要求非常高，测量的可靠性技术需要取得突破。
发明内容
针对现有技术的不足，本发明提出一种基于多生理信号融合的精神状态检测系统及方法，以达到弥补单一生理信号特征检测不足的目的。
一种基于多生理信号融合的精神状态检测系统，该系统包括脑电采集单元、生理信号采集单元，处理器单元和提示警告单元，其中，
脑电采集单元：用于采集用户头部的脑电信号，并发送至处理器单元中；
生理信号采集单元：用于采集用户手腕处的脉搏信号、胸口处的心电信号和腋下的皮温信号，并将信号发送至处理器单元中；
处理器单元：
当构建模板时：用于对所采集的脑电信号、脉搏信号、心电信号和皮温信号进行特征参数提取，获得用户在不同状态下所采集信号两两之间的相关性，并根据相关系数进行等级划分；采用D-S方法对信号进行特征融合，将融合后的不同状态下各信号的特征值作为模糊神经网络的输入，将对应的用户状态作为模糊神经网络的输出，对模糊神经网络进行训练；结合用户PVT测试的结果，获得所构建的神经网络的识别准确率，若识别准确率到达设定阈值，则完成该用户模板的构建；
当用于实时检测时：用于对所采集的信号进行特征参数提取并进行融合，将融合后的结果输入至训练好的模糊神经网络中，获得被测用户当前的状态，并将检测结果发送至提示警告单元中；
提示警告单元:根据检测的疲劳结果对用户进行提示。
采用基于多生理信号融合的精神状态检测系统进行的检测方法，包括以下步骤：
步骤1、采用脑电采集单元和生理信号采集单元采集用户在不同状态下的不同生理信号，包括头部的脑电信号、手腕处的脉搏信号、胸口处的心电信号和腋下的皮温信号，并将信号发送至处理器单元中；
步骤2、处理器单元根据接收的用户在不同状态下的不同生理信号，构建该用户的模板，具体步骤如下：
步骤2-1、对各信号进行特征参数提取；
对脑电信号进行小波分解，并提取脑电功率谱的比值作为脑电信号的特征参数；
提取心电信号的心率作为心电信号的特征参数；
提取脉搏信号的时域信号最大值、时域信号最小值、时域信号均值、时域信号标准差、频域信号最大值、频域信号最小值、频域信号均值和频域信号标准差，作为脉搏信号的特征参数；
提取皮温信号的时域信号最大值、时域信号最小值、时域信号均值、时域信号标准差、频域信号最大值、频域信号最小值、频域信号均值和频域信号标准差，作为皮温信号的特征参数；
步骤2-2、获得用户在不同状态下脑电信号、脉搏信号、心电信号和皮温信号两两之间的相关性，并对不同信号之间的相关系数进行等级划分；
步骤2-3、根据不同信号之间的相关系数，采用D-S方法对信号进行特征融合；
步骤2-4、将融合后的不同状态下各信号的特征值作为模糊神经网络的输入，将对应的用户状态作为模糊神经网络的输出，对模糊神经网络进行训练；
步骤2-5、结合用户PVT测试的结果，获得所构建的神经网络的识别准确率；
步骤2-6、判断识别准确率是否到达设定阈值，若是，则完成该用户模板的构建；否则返回执行步骤2-1；
步骤3、实时采用被测用户的脑电信号、脉搏信号、心电信号和皮温信号，采用处理器单元对所采集的信号进行特征参数提取并进行融合，将融合后的结果输入至训练好的模糊神经网络中，获得被测用户当前的状态；
步骤4、提示警告单元根据检测的疲劳结果对用户进行提示。
步骤1所述的不同状态，包括重度疲劳、中度疲劳、轻度疲劳、兴奋、平静和不确定6中状态，具体判断标准如下：
步骤4所述的提示警告单元根据检测的疲劳结果对用户进行提示，具体为：当被测用户处于疲劳状态时进行提示。
本发明优点：
本发明提出一种基于多生理信号融合的精神状态检测系统及方法，融合多种生理信号，利用各自的特征对人不同的状态进行判别分析，并借助分类器模型达到预期的分类识别效果；相对来说，弥补了单一生理信号特征检测的不足；以脑电、皮温、心率、脉搏等生理信号为基础的检测方法是一种隐式人机交换，在不干涉人的正常生活的情况下，实现对人体自然状态下的精神状态的长期检测，而且脑电和心率信号是能够直接准确反映出人体生理状态的“金标准”，其对于精神健康状态的检测远胜于传统的基于十二经穴的生物电流的检测方法；此外，本发明中提及的处理器单元它带有EtherCAT总线，又称工业以太网，具有极强的数据处理与存储能力，从长远看，若通过其将采集到用户数据连入云端，进行一个大数据的整流与存储，即可建成一个基于生理信号的健康数据库，这在“大数据”时代也是极为可观的。
附图说明
图1为本发明一种实施方式的基于多生理信号融合的精神状态检测系统结构框图；
图2为本发明一种实施方式的基于多生理信号融合的精神状态检测流程图；
图3为本发明一种实施方式的各种不同的生理信号示意图，其中，图(a)为心电信号、脉搏信号、皮温信号示意图；图(b)为脑电生理信号示意图；
图4为本发明一种实施方式的构建该用户的模板方法流程图；
图5为本发明一种实施方式的提取的特征分布图；
图6为本发明一种实施方式的模糊神经网络示意图；
图7为本发明一种实施方式的疲劳识别准确率示意图。
具体实施方式
下面结合附图对本发明一种实施例做进一步说明。
本发明实施例中，如图1所示，基于多生理信号融合的精神状态检测系统，该系统包括脑电采集单元、生理信号采集单元，处理器单元和提示警告单元；
本发明实施例中，脑电信号采集单元采用美国EMOTIV系统公司开发的便携式脑电感知系统Emotiv Epoc，该装置利用一部能够测量脑电活动的、类似于脑电图的装置，来实时探测和处理脑电波以及面部肌肉信号。该设备通过非侵入方式采集脑电信号，可以测量人体多种思想、情感信号；此外，Emotiv Epoc头盔还整合了一个陀螺仪，可以通过思维活动来控制窗口图像或鼠标指针。
本发明实施例中，生理信号信号采集单元采用津发科技有限公司定做的生理信号获取平台；肌电采集端子通过贴附于受试者皮肤表面的电极片获取电位变化，经过内部放大电路放大，以无线传输方式实时发送给接收端，该系统可以同时采集16路sEMG等生理信号，每一导采样频率可以达到4096Hz，sEMG量程为正负1500uv，共模抑制比达到110DB，干扰噪声最大小于1.7uv，每个接收端充满电后可以连续使用4～6小时，接收端与采集端最远距离可达500m，具有极强的跟踪范围，并且采集使用方便快捷。
本发明实施例中，处理器采用采用英伟达公司生产的NVIDIA Jetson TK1开发主板，Jetson接口包含192个CUDA核心的NVIDIA Kepler GPU，NVIDIA四核ARM Cortex-A15CPU，RS232串行端口，2GB运行内存，16GB eMMC存储空间，1个USB 2.0端口、Micro ABJetson接口，1个带Mic In和Line Out的ALC5639Realtek音频编解码器，1个RTL8111GSRealtek千兆位以太网局域网，SPI 4兆字节引导闪存，1个SATA数据端口，1个完整尺寸SD/MMC连接器，1个完整尺寸HDMI端口。脑电采集单元采集脑部的14个不同位置的脑电信号，生理信号采单元的输出端和脑电采集单元的输出端通过蓝牙连接处理器单元的输入端，处理器的输出端连接预警提示系统的输入端；DSP处理器RS232串口连接提示警告单元，提示警告单元由一个发声装置组成，将DSP输出的数字信号转化为声音信号。
本发明实施例中，脑电采集单元用于采集用户头部的脑电信号，并发送至处理器单元中；
本发明实施例中，生理信号采集单元用于采集用户手腕处的脉搏信号、胸口处的心电信号和腋下的皮温信号，并将信号发送至处理器单元中；
本发明实施例中，处理器单元，当构建模板时：用于对所采集的脑电信号、脉搏信号、心电信号和皮温信号进行特征参数提取，获得用户在不同状态下所采集信号两两之间的相关性，并根据相关系数进行等级划分；采用D-S方法对信号进行特征融合，将融合后的不同状态下各信号的特征值作为模糊神经网络的输入，将对应的用户状态作为模糊神经网络的输出，对模糊神经网络进行训练；结合用户PVT测试的结果，获得所构建的神经网络的识别准确率，若识别准确率到达设定阈值，则完成该用户模板的构建；当用于实时检测时：用于对所采集的信号进行特征参数提取并进行融合，将融合后的结果输入至训练好的模糊神经网络中，获得被测用户当前的状态，并将检测结果发送至提示警告单元中；
本发明实施例中，提示警告单元根据检测的疲劳结果对用户进行提示。
采用基于多生理信号融合的精神状态检测系统进行的检测方法，方法流程图如图2所示，包括以下步骤：
步骤1、采用脑电采集单元和生理信号采集单元采集用户在不同状态下的不同生理信号，包括头部的脑电信号、手腕处的脉搏信号、胸口处的心电信号和腋下的皮温信号，并将信号发送至处理器单元中；
本发明实施例中，所采集的给类信号如图3所示；
所述的不同状态，包括重度疲劳、中度疲劳、轻度疲劳、兴奋、平静和不确定6中状态，具体判断标准如表1：
表1
步骤2、处理器单元根据接收的用户在不同状态下的不同生理信号，构建该用户的模板，具体方法流程图如图4所示，具体步骤如下:
步骤2-1、对各信号进行特征参数提取；
本发明实施例中，特征分布如图5所示，对脑电信号进行小波分解，并提取脑电功率谱的比值R＝(α+θ)/β(α波段、θ波段、β波段，脑电波根据频率的不同分为不同的波段，并以α、θ、β….等命名)作为脑电信号的特征参数；提取心电信号的心率(HR)作为心电信号的特征参数；提取脉搏信号的时域信号最大值、时域信号最小值、时域信号均值、时域信号标准差、快速傅里叶变换后，频域信号最大值、频域信号最小值、频域信号均值和频域信号标准差，作为脉搏信号的特征参数；提取皮温信号的时域信号最大值、时域信号最小值、时域信号均值、时域信号标准差、快速傅里叶变换后频域信号最大值、频域信号最小值、频域信号均值和频域信号标准差，作为皮温信号的特征参数；
步骤2-2、获得用户在不同状态下脑电信号、脉搏信号、心电信号和皮温信号两两之间的相关性，并对不同信号之间的相关系数进行等级划分；
具体公式如下：
其中，m为一种信号，n为另一种信号；
本发明实施例中，得到用户不同状态下时域和频域中各生理信号之间的相关性结果，如表2所示；相关系数表示两个相关量之间的密切程度，相关系数越小，表明两个相关量之间的关系越弱；相关系数越大表明两个相关量之间的相关性关系越强；
表2各生理信号的相关性分析
本发明实施例中，相关系数的划分如表3所示：
表3相关系数的划分
步骤2-3、根据不同信号之间的相关系数，采用D-S方法对信号进行特征融合；
本发明实施例中，将各传感器采集的信号作为证据，每个传感器提供一组命题，建立一个相应的信度函数，这样多传感器信息融合实质上就成为在同一识别框架下，将不同的证据体合并成一个新的证据体的过程；
多传感器信息融合的一般过程是：
（1）分别计算各传感器的基本可信数、信度函数和似真度函数；
(2)用Dempster合并规则求得所有传感器联合作用下的基本可信数、信度函数和似真度函数；
(3)选择具有最大支持度的目标。
先由n个传感器分别给出m个决策目标集的信度，经Dempster合并规则合成一致的对m个决策目标集的信度.最后，对各可能决策利用某一决策规则，得到结果。
本发明实施例中，将不同的生理状态分为清醒、疲劳和不确定三种大的状态，并在三大类状态的基础上细分为6种细化状态；结合D-S证据论证对相互交叉的各个特征向量进行整合，得到最终的融合结果输入到疲劳识别模型中；
在融合阶段，根据相关性系数，把相关性大的信号分为一类，比如频域下的脑电信号和脉搏信号相关性系数为0.8361，相关等级为极度相关，说明两种信号的频域特性十分相同，那么在频域特征值融合的时候，脑电信号和脉搏信号就可以作为一种信号去计算权值，然后二者再均分权值。
步骤2-4、将融合后的不同状态下各信号的特征值作为模糊神经网络的输入，将对应的用户状态作为模糊神经网络的输出，对模糊神经网络进行训练；
本发明实施例中，模糊推理模型的设计主要包括：隶属度函数的选取和模糊规则的建立，并且很大程度上需要借助以往的先验知识；疲劳识别的关键在于构建疲劳参数与疲劳状态间的模糊映射关系；
(1)模糊神经网络的设计
如图6所示，本发明实施例构建的神经网络共分为5层，分别为输入层、模糊化层、规则层、归一化层、输出层，有4个输入节点x1…x4分别表示脉搏、脑电、心电和皮温的采集信号提取的特征向量输入，6个输出节点y1…y6分别表示对应不同生理状态的输出；
(2)隶属度函数的选取
本发明实施例中，选用高斯函数作为隶属度函数构建模糊神经网络模型。
(3)模糊规则的确立
本发明实施例中，采用T-S模糊系统的模糊规则，经分析建立4输入，6输出的T-S模型神经网络系统；
(4)模糊神经网络的训练
神经网络需要训练的参数有：每个输入分量的分割数、每个模糊分割相对于模糊函数的宽度与中心、最终输出层的输出权重；并采用随机搜索，即BP算法测量误差，随机给定参数的初值的方法，训练上述3个参数。
步骤2-5、结合用户PVT测试的结果，获得所构建的神经网络的识别准确率；
本发明实施例中，结合PVT测试疲劳程度量化标准，将疲劳程度细化为6个等级，即疲倦（轻度疲倦，中度疲倦，重度疲倦），清醒（兴奋、平静)和不确定6种状态；按照模糊神经网络的分类原则，每个等级均被视为单一的类别，并与其它类别分开，通过模糊神经网络训练优化和精神状态推理系统中的隶属度函数与模糊规则，同时将提取的疲劳参数值输入到已训练好的推理系统中，以提升精神状态的检测效果；
本发明实施例中，经过神经网络训练和模糊判定，得出关于6类关于生理状态的识别准确率如图6所示；
步骤2-6、判断识别准确率是否到达85％，若是，则完成该用户模板的构建；否则返回执行步骤2-1；
本发明实施例中，如图7所示，重度疲劳、平静和不确定状态达到了设定85％；
步骤3、实时采用被测用户的脑电信号、脉搏信号、心电信号和皮温信号，采用处理器单元对所采集的信号进行特征参数提取并进行融合，将融合后的结果输入至训练好的模糊神经网络中，获得被测用户当前的状态；
步骤4、提示警告单元根据检测的疲劳结果对用户进行提示；具体为：当被测用户处于疲劳状态时，启动提示报警系统，提醒受试进行适当的休息和进行运动。
Claims (3)
1.一种基于多生理信号融合的精神状态检测系统，其特征在于，该系统包括脑电采集单元、生理信号采集单元，处理器单元和提示警告单元，其中，
脑电采集单元：用于采集用户头部的脑电信号，并发送至处理器单元中；
生理信号采集单元：用于采集用户手腕处的脉搏信号、胸口处的心电信号和腋下的皮温信号，并将信号发送至处理器单元中；
处理器单元：
当构建模板时：用于对所采集的脑电信号、脉搏信号、心电信号和皮温信号进行特征参数提取，获得用户在不同状态下所采集信号两两之间的相关性，并根据相关系数进行等级划分；采用D-S方法对信号进行特征融合，将融合后的不同状态下各信号的特征值作为模糊神经网络的输入，将对应的用户状态作为模糊神经网络的输出，对模糊神经网络进行训练；结合用户PVT测试的结果，获得所构建的神经网络的识别准确率，若识别准确率到达设定阈值，则完成该用户模板的构建；
当用于实时检测时：用于对所采集的信号进行特征参数提取并进行融合，将融合后的结果输入至训练好的模糊神经网络中，获得被测用户当前的状态，并将检测结果发送至提示警告单元中；
提示警告单元:根据检测的疲劳结果对用户进行提示。
2.采用权利要求1所述的基于多生理信号融合的精神状态检测系统进行的检测方法，其特征在于，包括以下步骤：
步骤 1、采用脑电采集单元和生理信号采集单元采集用户在不同状态下的不同生理信号，包括头部的脑电信号、手腕处的脉搏信号、胸口处的心电信号和腋下的皮温信号，并将信号发送至处理器单元中；
步骤2 、处理器单元根据接收的用户在不同状态下的不同生理信号，构建该用户的模板，具体步骤如下：
步骤2-1、对各信号进行特征参数提取；
对脑电信号进行小波分解，并提取脑电功率谱的比值作为脑电信号的特征参数；
提取心电信号的心率作为心电信号的特征参数；
提取脉搏信号的时域信号最大值、时域信号最小值、时域信号均值、时域信号标准差、频域信号最大值、频域信号最小值、频域信号均值和频域信号标准差，作为脉搏信号的特征参数；
提取皮温信号的时域信号最大值、时域信号最小值、时域信号均值、时域信号标准差、频域信号最大值、频域信号最小值、频域信号均值和频域信号标准差，作为皮温信号的特征参数；
步骤2-2、获得用户在不同状态下脑电信号、脉搏信号、心电信号和皮温信号两两之间的相关性，并对不同信号之间的相关系数进行等级划分；
步骤2-3、根据不同信号之间的相关系数，采用D-S方法对信号进行特征融合；
步骤2-4、将融合后的不同状态下各信号的特征值作为模糊神经网络的输入，将对应的用户状态作为模糊神经网络的输出，对模糊神经网络进行训练；
步骤2-5 、结合用户PVT测试的结果，获得所构建的神经网络的识别准确率；
步骤2-6、判断识别准确率是否到达设定阔值，若是，则完成该用户模板的构建；否则返回执行步骤2-1；
步骤3、实时采用被测用户的脑电信号、脉搏信号、心电信号和皮温信号，采用处理器单元对所采集的信号进行特征参数提取并进行融合，将融合后的结果输入至训练好的模糊神经网络中，获得被测用户当前的状态；
步骤4、提示警告单元根据检测的疲劳结果对用户进行提示。
3.根据权利要求2所述的检测方法，其特征在于，步骤4所述的提示警告单元根据检测的疲劳结果对用户进行提示，具体为：当被测用户处于疲劳状态时进行提示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610452456.0A CN105877766B (zh) | 2016-06-21 | 2016-06-21 | 一种基于多生理信号融合的精神状态检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610452456.0A CN105877766B (zh) | 2016-06-21 | 2016-06-21 | 一种基于多生理信号融合的精神状态检测系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105877766A CN105877766A (zh) | 2016-08-24 |
| CN105877766B true CN105877766B (zh) | 2019-02-05 |
Family
ID=56730151
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610452456.0A Expired - Fee Related CN105877766B (zh) | 2016-06-21 | 2016-06-21 | 一种基于多生理信号融合的精神状态检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105877766B (zh) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106691474A (zh) * | 2016-11-25 | 2017-05-24 | 中原电子技术研究所（中国电子科技集团公司第二十七研究所） | 融合脑电信号与生理信号的疲劳检测系统 |
| CN108113657A (zh) * | 2016-11-30 | 2018-06-05 | 天津职业技术师范大学 | 一种基于d-s证据理论的驾驶员疲劳检测方法 |
| CN106580349B (zh) * | 2016-12-07 | 2020-01-21 | 中国民用航空总局第二研究所 | 管制员疲劳检测方法及装置、管制员疲劳响应方法及装置 |
| CN106580351A (zh) * | 2016-12-07 | 2017-04-26 | 中国民用航空总局第二研究所 | 一种疲劳状况监测方法及装置 |
| CN106691402A (zh) * | 2016-12-19 | 2017-05-24 | 深圳欧德蒙科技有限公司 | 一种基于脉搏特征的疲劳程度分析方法和装置 |
| CN107025372B (zh) * | 2017-03-09 | 2019-12-27 | 中国人民解放军装甲兵工程学院 | 特种车辆乘员信息处理能力测定系统及方法 |
| CN107693003A (zh) * | 2017-08-23 | 2018-02-16 | 上海埃司柯特生物信息技术有限公司 | 一种便携式心脑电采集检测系统及其检测方法 |
| CN107822623A (zh) * | 2017-10-11 | 2018-03-23 | 燕山大学 | 一种基于多源生理信息的驾驶员疲劳及情绪评价方法 |
| CN109993180A (zh) * | 2017-12-29 | 2019-07-09 | 新华网股份有限公司 | 人体生物电数据处理方法和装置、存储介质和处理器 |
| CN110008790A (zh) * | 2018-01-05 | 2019-07-12 | 中国移动通信有限公司研究院 | 一种多导联生理信号的分析方法及装置 |
| CN108852377A (zh) * | 2018-04-13 | 2018-11-23 | 中国科学院苏州生物医学工程技术研究所 | 基于多生理参数的人体运动性疲劳监测系统 |
| CN108721048B (zh) * | 2018-05-02 | 2020-12-22 | 南京邮电大学 | 计算机可读存储介质和终端 |
| CN109124655A (zh) * | 2018-07-04 | 2019-01-04 | 中国电子科技集团公司电子科学研究院 | 精神状态分析方法、装置、设备、计算机介质及多功能椅 |
| CN109040455B (zh) * | 2018-08-13 | 2021-12-14 | 青岛民航凯亚系统集成有限公司 | 一种来电处理方法、装置、终端及计算机可读存储介质 |
| CN109255389B (zh) * | 2018-09-28 | 2022-03-25 | 中国科学院长春光学精密机械与物理研究所 | 一种装备评价方法、装置、设备及可读存储介质 |
| CN109620263B (zh) * | 2018-12-13 | 2021-11-12 | 湖南仪峰安安网络科技股份有限公司 | 一种企事业单位上岗人员体征安全分析方法 |
| CN110400446B (zh) * | 2019-08-02 | 2021-03-26 | 重庆文理学院 | 一种用于游泳池溺水检测的方法 |
| CN110464369A (zh) * | 2019-08-29 | 2019-11-19 | 安徽澄小光智能科技有限公司 | 一种基于人体体征数值的精神状态判断算法 |
| CN110811595B (zh) * | 2019-11-28 | 2022-04-08 | 中国银行股份有限公司 | 异常状态的检测方法、装置、电子设备及计算机存储介质 |
| CN113197585B (zh) * | 2021-04-01 | 2022-02-18 | 燕山大学 | 一种神经肌肉信息交互模型构建及参数辨识优化方法 |
| CN113470787B (zh) * | 2021-07-09 | 2024-01-30 | 福州大学 | 基于神经网络的情绪识别与脱敏训练效果评估方法 |
| US20240245314A1 (en) * | 2021-11-01 | 2024-07-25 | Honor Device Co., Ltd. | Vital Sign Detection Method and Electronic Device |
| CN118401174A (zh) * | 2021-12-24 | 2024-07-26 | 安念科技有限公司 | 一种健康监测系统和方法 |
| CN114886388B (zh) * | 2022-07-12 | 2022-11-22 | 浙江普可医疗科技有限公司 | 一种麻醉深度监测过程中脑电信号质量的评估方法及装置 |
| CN118380159B (zh) * | 2024-06-20 | 2024-08-30 | 湘江实验室 | 基于元宇宙的多用户实时协作系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011078705A (ja) * | 2009-10-09 | 2011-04-21 | Panasonic Corp | 生体疲労評価装置 |
| CN202801631U (zh) * | 2012-05-15 | 2013-03-20 | 湖州师范学院 | 基于心理学原理的多导心理测试仪 |
| CN103584872A (zh) * | 2013-10-29 | 2014-02-19 | 燕山大学 | 一种基于多生理参数融合的心理压力评估方法 |
| CN103932719A (zh) * | 2013-01-18 | 2014-07-23 | 袁囡囡 | 疲劳驾驶检测技术 |
| CN104127195A (zh) * | 2014-07-29 | 2014-11-05 | 杭州电子科技大学 | 一种融合脑电和心电信号的疲劳驾驶检测方法 |
| CN104665849A (zh) * | 2014-12-11 | 2015-06-03 | 西南交通大学 | 一种基于多生理信号多模型交互的高铁调度员应激检测方法 |
-
2016
- 2016-06-21 CN CN201610452456.0A patent/CN105877766B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011078705A (ja) * | 2009-10-09 | 2011-04-21 | Panasonic Corp | 生体疲労評価装置 |
| CN202801631U (zh) * | 2012-05-15 | 2013-03-20 | 湖州师范学院 | 基于心理学原理的多导心理测试仪 |
| CN103932719A (zh) * | 2013-01-18 | 2014-07-23 | 袁囡囡 | 疲劳驾驶检测技术 |
| CN103584872A (zh) * | 2013-10-29 | 2014-02-19 | 燕山大学 | 一种基于多生理参数融合的心理压力评估方法 |
| CN104127195A (zh) * | 2014-07-29 | 2014-11-05 | 杭州电子科技大学 | 一种融合脑电和心电信号的疲劳驾驶检测方法 |
| CN104665849A (zh) * | 2014-12-11 | 2015-06-03 | 西南交通大学 | 一种基于多生理信号多模型交互的高铁调度员应激检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于D-S理论和模糊神经网络的疲劳驾驶监测;王仲民等;《自动化与仪表》;20160331(第3期);第73-76页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105877766A (zh) | 2016-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105877766B (zh) | 一种基于多生理信号融合的精神状态检测系统及方法 | |
| CN106886792B (zh) | 一种基于分层机制构建多分类器融合模型的脑电情感识别方法 | |
| CN105852885B (zh) | 基于改进超限学习机的n400诱发电位测谎方法 | |
| CN110604565A (zh) | 一种基于便携式eeg设备的脑部健康筛查方法 | |
| CN109157231A (zh) | 基于情绪刺激任务的便携式多通道抑郁倾向评估系统 | |
| CN103584872A (zh) | 一种基于多生理参数融合的心理压力评估方法 | |
| CN109498041A (zh) | 基于脑电与脉搏信息的驾驶员路怒状态识别方法 | |
| CN106725376B (zh) | 体征信号检测方法及装置 | |
| CN101828921A (zh) | 基于视觉诱发脑电vep的身份识别方法 | |
| CN113743471A (zh) | 一种驾驶评估方法及其系统 | |
| CN103610447A (zh) | 一种基于前额脑电信号的脑力负荷在线检测方法 | |
| CN104269025B (zh) | 面向户外摔倒监测的穿戴式单节点特征及位置选取方法 | |
| CN114999237B (zh) | 一种智慧教育互动教学方法 | |
| CN107292296A (zh) | 一种使用脑电信号的人类情感唤醒度分类识别方法 | |
| Zhou et al. | Vigilance detection method for high‐speed rail using wireless wearable EEG collection technology based on low‐rank matrix decomposition | |
| CN110141258A (zh) | 一种情绪状态检测方法、设备及终端 | |
| Wang et al. | Dual-modal information bottleneck network for seizure detection | |
| CN109567832A (zh) | 一种基于智能手环的检测愤怒驾驶状态的方法及系统 | |
| CN113397494A (zh) | 动物体征监测装置和方法及智能可穿戴装置 | |
| CN109394203A (zh) | 精神障碍康复期情绪监测与干预方法 | |
| AU2013100576A4 (en) | Human Identification with Electroencephalogram (EEG) for the Future Network Security | |
| CN115120236A (zh) | 情绪识别方法、装置、可穿戴设备及存储介质 | |
| Youn et al. | Wearable sensor-based biometric gait classification algorithm using WEKA | |
| CN112370058A (zh) | 一种基于移动端对用户的情感进行识别与监测方法 | |
| CN104850735A (zh) | 一种基于栈式自编码的活动识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190205 |