CN108392211A - 一种基于多信息融合的疲劳检测方法 - Google Patents

一种基于多信息融合的疲劳检测方法 Download PDF

Info

Publication number
CN108392211A
CN108392211A CN201810026845.6A CN201810026845A CN108392211A CN 108392211 A CN108392211 A CN 108392211A CN 201810026845 A CN201810026845 A CN 201810026845A CN 108392211 A CN108392211 A CN 108392211A
Authority
CN
China
Prior art keywords
rate
human body
fatigue
heart rate
skin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810026845.6A
Other languages
English (en)
Other versions
CN108392211B (zh
Inventor
李红
杨国青
王成城
张华蕊
吕攀
吴朝晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810026845.6A priority Critical patent/CN108392211B/zh
Publication of CN108392211A publication Critical patent/CN108392211A/zh
Application granted granted Critical
Publication of CN108392211B publication Critical patent/CN108392211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168Evaluating attention deficit, hyperactivity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055Simultaneously evaluating both cardiovascular condition and temperature
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405Determining heart rate variability
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Abstract

本发明公开了一种基于多信息融合的疲劳检测方法,其引入了呼吸率和手指电导率以及手指体温的生理监测指标,通过将四种生理特征提取后使用样本熵估计并通过LS‑SVM进行疲劳状态的分类。本发明利用了包括心率、皮肤电导率、皮肤温度、呼吸率在内的多种生理指标作为特征,提高了疲劳检测的准确率,同时使用了分类速度更快的LS‑SVM分类器,保证了能够快速分类的效果,分类的准确和快速是疲劳检测的重要指标。

Description

一种基于多信息融合的疲劳检测方法
技术领域
本发明属于智能检测技术领域,具体涉及一种基于多信息融合的疲劳检测方法。
背景技术
精神疲劳是一种亚健康状态,随着工作时间的增长和强度的增大,工作者会感觉到注意力的分散和工作效率的下降,对于部分职业如驾驶员或者操作工甚至会导致致命的后果,因此对于疲劳检测一直是一个热门的研究方向。
疲劳检测可以分为主观评定和客观评定两种,其中主观方式主要是通过问卷和自评量表,存在着延时和不准确性,而客观方式主要通过基于生理信号和行为表情特征等数据来评估疲劳的状态,其中生理信号主要包括心电(ECG),脑电(EEG),呼吸率(RR)等。脑电存在传感器佩戴不方便的问题,同时测得的数据容易受到肌电和眼电的影响,而心率变异性(HRV)是一种量测连续心跳速率变化程度的方法,在国内外研究中发现与精神疲劳之间存在较强的相关性,同时手指温度和手指电导率能够反映工作者的紧张程度,呼吸率随着被测人员压力的增大也会出现变化。
发明内容
针对脑电设备佩戴复杂以及单个ECG生理信号监测指标存在局限,本发明提供了一种基于多信息融合的疲劳检测方法,引入了呼吸率和手指电导率以及手指体温的生理监测指标,通过将四种生理特征提取后使用样本熵估计并通过LS-SVM(最小二乘支持向量机)进行疲劳状态的分类,最终得到了比单种特征分类效果更好的效果。
一种基于多信息融合的疲劳检测方法,包括如下步骤:
(1)通过采集获取大量疲劳人体以及非疲劳人体的生理数据,所述生理数据包括心电信息、呼吸率、手指温度以及皮肤电传导率;
(2)从所述心电信息中提取出人体的心率变异性数据,并利用Welch法计算出心率变异性的功率谱特征;
(3)根据一定时间段内每一采样周期人体的呼吸率,提取出平均呼吸率和最大呼吸率;
(4)提取手指温度变化率以及皮肤电传导率变化率;
(5)通过基于多变量的多尺度熵分析法将所述功率谱特征、平均呼吸率、最大呼吸率、手指温度变化率以及皮肤电传导率变化率整理组成样本熵,将所有样本熵分为训练集、验证集和测试集,其中对应疲劳人体的样本熵为正样本,对应非疲劳人体的样本熵为负样本;
(6)将训练集中的正负样本逐一输入至LS-SVM中进行训练,得到用于检测区分人体疲劳状态的分类模型,最后利用验证集对该分类模型进行调试,利用测试集对调试后的分类模型进行实际测试,以实现对人体的疲劳检测。
进一步地,所述步骤(1)中采用心电传感器采集人体的心电信息;采用呼吸波传感器采集人体的呼吸信号,信号经前置放大、信号调理、幅度调整、AD转换后输出呼吸波形数据并得到呼吸率;采用红外数字温度传感器采集人体的手指温度;利用两块电极片采集手指皮肤的电导反应,得到人体的皮肤电传导率。
进一步地,所述步骤(2)中根据心率变异性数据利用Welch法计算得到心率变异性的功率谱,并提取其中低频段心率LF和高频段心率HF,进而使(LF-HF)/HR作为心率变异性的功率谱特,HR为对功率谱整个频段心率的积分。
进一步地,所述步骤(4)中根据以下斜率函数提取手指温度变化率以及皮肤电传导率变化率:
其中:f为手指温度变化率或皮肤电传导率变化率,n表示一定时间段内的采样个数,yi为第i个手指温度采样值或皮肤电传导率采样值,为y1~yn的平均值,xi为yi对应的采样时刻,为x1~xn的平均值。
本发明疲劳检测方法利用了包括心率、皮肤电导率、皮肤温度、呼吸率在内的多种生理指标作为特征,提高了疲劳检测的准确率,同时使用了分类速度更快的LS-SVM分类器,保证了能够快速分类的效果,分类的准确和快速是疲劳检测的重要指标。
附图说明
图1为本发明疲劳检测方法的流程框图。
具体实施方式
为了更为具体地描述本发明,下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
如图1所示,本发明基于多信息融合的疲劳检测方法包括如下步骤:
(1)首先将4种传感器通过SPI总线连接,即通过DS18B20温度传感器对手指温度进行收集;使用HKH-11C呼吸波传感器采集呼吸信号,经过前置放大、信号调理、幅度调整、AD转换后输出呼吸波形数据;通过两块电极片采集手指皮肤的电导反应;使用AD8232心电传感器模块采集ECG并通过处理得到心率变异性HRV数据,最后通过蓝牙模块HC-05将各个传感器的传感数据上传到智能手机,通过智能手机进行数据的收集和处理。
(2)人体的心电信号首先通过芯片内部放大、滤波,然后经过以下Welch函数计算得到HRV的功率谱特征,最终提取低频LF和高频HF,将(LF-HF)/HR作为特征,(LF-HF)/HR会随着疲劳程度的增加而增加。
其中:w=(w0,...,wD-1)是离散窗口函数,x(m)是第m个数据段,M是总的数据段数,是归一化因子。
(3)从呼吸率提取特征,根据一段时间内人体的呼吸率提取平均呼吸率Mean RR和主呼吸率DRF(即最大呼吸率),采样周期一般为5分钟。
(4)分析手指温度,使用手指温度的变化率来作为特征;本实施方式使用基于斜率的方法来抽取手指温度变化率,算式如下:
其中:n表示样本个数,是样本的平均值,然后斜率的值可以通过反三角函数来转换成角度。
(5)从皮肤电传导率中提取特征,由于皮肤电导率也是随着紧张程度增加而增加,因此同样可以使用手指温度变化率的公式来获取特征。
(6)使用多变量的多尺度熵分析法来预测多个维度的数据,其中分为两个步骤:6.1通过粗粒度方法来定义时间比例,方法如下:
其中:N是每个通道的数据点的个数,是以p为变量的时间序列,ε是比例因子,k=1,2,...,p是通道编号,是粗粒度数据。
6.2评估每一个粗粒度多变量数据的多变量样本熵,构造多变量样本熵的预测方法如下:
其中:M是嵌入向量,τ是时间延迟向量,r是阈值,N是多变量时间序列,Bm和Bm+1是长度为m和m+1的出现频率。
最后将HRV、呼吸率、手指温度和皮肤电导率的样本熵整理为:
(xi,yi),i=1,...,n,x∈Rd,y∈{+1,-1}
其中:“+1”表示疲劳时的生理数据,“-1”表示清醒时的生理数据。
(7)使用LS-SVM来对疲劳状态进行分类,在SVM的基础上在原空间求解如下优化问题:
根据最优化条件,对上式求偏导并使其为零;为了得到较高的识别率,本实施方式使用高斯径向基核函数:
因此,基于LS-SVM分类器的判断函数如下:
当上式的值为+1表示疲劳状态,上式值为-1时表示为清醒状态。
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改,并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此,本发明不限于上述实施例,本领域技术人员根据本发明的揭示,对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (4)

1.一种基于多信息融合的疲劳检测方法,包括如下步骤:
(1)通过采集获取大量疲劳人体以及非疲劳人体的生理数据,所述生理数据包括心电信息、呼吸率、手指温度以及皮肤电传导率;
(2)从所述心电信息中提取出人体的心率变异性数据,并利用Welch法计算出心率变异性的功率谱特征;
(3)根据一定时间段内每一采样周期人体的呼吸率,提取出平均呼吸率和最大呼吸率;
(4)提取手指温度变化率以及皮肤电传导率变化率;
(5)通过基于多变量的多尺度熵分析法将所述功率谱特征、平均呼吸率、最大呼吸率、手指温度变化率以及皮肤电传导率变化率整理组成样本熵,将所有样本熵分为训练集、验证集和测试集,其中对应疲劳人体的样本熵为正样本,对应非疲劳人体的样本熵为负样本;
(6)将训练集中的正负样本逐一输入至LS-SVM中进行训练,得到用于检测区分人体疲劳状态的分类模型,最后利用验证集对该分类模型进行调试,利用测试集对调试后的分类模型进行实际测试,以实现对人体的疲劳检测。
2.根据权利要求1所述的疲劳检测方法,其特征在于:所述步骤(1)中采用心电传感器采集人体的心电信息;采用呼吸波传感器采集人体的呼吸信号,信号经前置放大、信号调理、幅度调整、AD转换后输出呼吸波形数据并得到呼吸率;采用红外数字温度传感器采集人体的手指温度;利用两块电极片采集手指皮肤的电导反应,得到人体的皮肤电传导率。
3.根据权利要求1所述的疲劳检测方法,其特征在于:所述步骤(2)中根据心率变异性数据利用Welch法计算得到心率变异性的功率谱,并提取其中低频段心率LF和高频段心率HF,进而使(LF-HF)/HR作为心率变异性的功率谱特,HR为对功率谱整个频段心率的积分。
4.根据权利要求1所述的疲劳检测方法,其特征在于:所述步骤(4)中根据以下斜率函数提取手指温度变化率以及皮肤电传导率变化率:
其中:f为手指温度变化率或皮肤电传导率变化率,n表示一定时间段内的采样个数,yi为第i个手指温度采样值或皮肤电传导率采样值,为y1~yn的平均值,xi为yi对应的采样时刻,为x1~xn的平均值。
CN201810026845.6A 2018-01-11 2018-01-11 一种基于多信息融合的疲劳检测方法 Active CN108392211B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810026845.6A CN108392211B (zh) 2018-01-11 2018-01-11 一种基于多信息融合的疲劳检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810026845.6A CN108392211B (zh) 2018-01-11 2018-01-11 一种基于多信息融合的疲劳检测方法

Publications (2)

Publication Number Publication Date
CN108392211A true CN108392211A (zh) 2018-08-14
CN108392211B CN108392211B (zh) 2020-05-29

Family

ID=63094686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810026845.6A Active CN108392211B (zh) 2018-01-11 2018-01-11 一种基于多信息融合的疲劳检测方法

Country Status (1)

Country Link
CN (1) CN108392211B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109009028A (zh) * 2018-08-31 2018-12-18 江苏盖睿健康科技有限公司 一种反映人体疲劳程度的穿戴式设备
CN109147951A (zh) * 2018-09-19 2019-01-04 中国人民解放军第三0五医院 一种大脑警觉度的监测报警方法
CN109199362A (zh) * 2018-08-15 2019-01-15 哈尔滨理工大学 心脏早搏的ecg自动诊断系统及装置
CN109394188A (zh) * 2018-11-27 2019-03-01 中山大学 一种基于心率变异性的呼吸异常检测方法、装置及设备
CN110507319A (zh) * 2019-09-04 2019-11-29 杭州回车电子科技有限公司 一种疲劳度检测方法及设备
CN111387940A (zh) * 2020-03-12 2020-07-10 泰康保险集团股份有限公司 一种疲劳检测方法及装置、电子设备
CN113080891A (zh) * 2021-03-17 2021-07-09 浙江大学 基于人体微动信号的呼吸率和心率的提取方法
CN113378702A (zh) * 2021-06-09 2021-09-10 国网浙江宁波市奉化区供电有限公司 一种用于登杆作业的多特征融合的疲劳监测识别方法
CN114287939A (zh) * 2021-12-13 2022-04-08 上海航盛实业有限公司 一种疲劳驾驶检测方法及系统
CN114366025A (zh) * 2021-12-28 2022-04-19 河北体育学院 一种运动员生理指标检测系统及方法
CN114424941A (zh) * 2022-01-26 2022-05-03 广东电网有限责任公司 疲劳检测模型构建方法、疲劳检测方法、装置及设备
CN115067945A (zh) * 2022-08-22 2022-09-20 深圳市海清视讯科技有限公司 疲劳检测方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106691474A (zh) * 2016-11-25 2017-05-24 中原电子技术研究所(中国电子科技集团公司第二十七研究所) 融合脑电信号与生理信号的疲劳检测系统
CN107280694A (zh) * 2017-07-18 2017-10-24 燕山大学 一种基于多源信息融合的疲劳检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106691474A (zh) * 2016-11-25 2017-05-24 中原电子技术研究所(中国电子科技集团公司第二十七研究所) 融合脑电信号与生理信号的疲劳检测系统
CN107280694A (zh) * 2017-07-18 2017-10-24 燕山大学 一种基于多源信息融合的疲劳检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
G. SHIVAKUMAR等: "Analysis of Human Emotions Using Galvanic Skin Response and Finger Tip Temperature", 《INTERNATIONAL JOURNAL OF SYNTHETIC EMOTIONS》 *
MAHESH M. BUNDELE等: "An SVM Classifier for Fatigue-Detection using Skin Conductance for Use in the BITS-Lifeguard Wearable Computing System", 《SECOND INTERNATIONAL CONFERENCE ON EMERGING TRENDS IN ENGINEERING AND TECHNOLOGY》 *
祝荣欣: "基于生理信号的联合收获机驾驶疲劳检测与评价", 《中国优秀博士学位论文全文数据库信息科技辑》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109199362A (zh) * 2018-08-15 2019-01-15 哈尔滨理工大学 心脏早搏的ecg自动诊断系统及装置
CN109009028A (zh) * 2018-08-31 2018-12-18 江苏盖睿健康科技有限公司 一种反映人体疲劳程度的穿戴式设备
CN109147951A (zh) * 2018-09-19 2019-01-04 中国人民解放军第三0五医院 一种大脑警觉度的监测报警方法
CN109394188B (zh) * 2018-11-27 2022-03-08 中山大学 一种基于心率变异性的呼吸异常检测方法、装置及设备
CN109394188A (zh) * 2018-11-27 2019-03-01 中山大学 一种基于心率变异性的呼吸异常检测方法、装置及设备
CN110507319A (zh) * 2019-09-04 2019-11-29 杭州回车电子科技有限公司 一种疲劳度检测方法及设备
CN110507319B (zh) * 2019-09-04 2022-04-15 杭州回车电子科技有限公司 一种疲劳度检测方法及设备
CN111387940A (zh) * 2020-03-12 2020-07-10 泰康保险集团股份有限公司 一种疲劳检测方法及装置、电子设备
CN113080891A (zh) * 2021-03-17 2021-07-09 浙江大学 基于人体微动信号的呼吸率和心率的提取方法
CN113378702A (zh) * 2021-06-09 2021-09-10 国网浙江宁波市奉化区供电有限公司 一种用于登杆作业的多特征融合的疲劳监测识别方法
CN114287939A (zh) * 2021-12-13 2022-04-08 上海航盛实业有限公司 一种疲劳驾驶检测方法及系统
CN114366025A (zh) * 2021-12-28 2022-04-19 河北体育学院 一种运动员生理指标检测系统及方法
CN114366025B (zh) * 2021-12-28 2023-12-26 河北体育学院 一种运动员生理指标检测系统及方法
CN114424941A (zh) * 2022-01-26 2022-05-03 广东电网有限责任公司 疲劳检测模型构建方法、疲劳检测方法、装置及设备
CN115067945A (zh) * 2022-08-22 2022-09-20 深圳市海清视讯科技有限公司 疲劳检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN108392211B (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
CN108392211A (zh) 一种基于多信息融合的疲劳检测方法
CN107569226B (zh) 基于压电传感获取hrv的方法及应用
CN106937808A (zh) 一种智能床垫的数据采集系统
CN107280694A (zh) 一种基于多源信息融合的疲劳检测方法
EP3698709A1 (en) Electrocardiogram information processing method and electrocardiogram workstation system
US11783924B2 (en) ECG information processing method and ECG workstation
CN104107037A (zh) 生理信息采集和处理系统
CN114010171B (zh) 一种基于心跳数据的分类器设置方法
CN105796096A (zh) 一种心率变异性分析方法、系统及终端
CN110123314A (zh) 基于脑电信号判断大脑专注放松状态的方法
CN106559744A (zh) 一种基于稀疏识别与压缩感知的体域网节能方法
CN107766898A (zh) 基于svm的三分类情绪概率判断方法
CN104138260A (zh) 一种利用svm分类器的睡眠姿势多分类识别方法
CN105243285A (zh) 一种大数据健康预测系统
CN107847146B (zh) 在ecg数据上自动标记活动的方法和系统
CN113288168A (zh) 一种智能可穿戴疲劳监测及预警系统
CN104644166B (zh) 一种基于格子复杂性算法的无线动态麻醉深度检测方法
CN107865638A (zh) 计算机可读存储介质、入耳式耳塞检测装置
CN112998711A (zh) 一种基于可穿戴装置的情绪识别系统及方法
CN112263254A (zh) 一种基于表面肌电信号传感器的人体能量消耗预测系统及其预测方法
CN204246115U (zh) 一种生理信息采集和处理装置
CN109009005A (zh) 一种可穿戴式中医脉象采集与分析系统
CN106344008B (zh) 睡眠状态分析中清醒状态检测方法和系统
CN111202516B (zh) 一种基于胸骨柄前区脑电波判断睡眠深度的方法及系统
CN106529172A (zh) 键盘、人体生命体征信号处理系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant