CN107692984A - 一种疲劳检测方法及装置 - Google Patents
一种疲劳检测方法及装置 Download PDFInfo
- Publication number
- CN107692984A CN107692984A CN201710350475.7A CN201710350475A CN107692984A CN 107692984 A CN107692984 A CN 107692984A CN 201710350475 A CN201710350475 A CN 201710350475A CN 107692984 A CN107692984 A CN 107692984A
- Authority
- CN
- China
- Prior art keywords
- module
- data
- fatigue
- leg
- fatigue state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 37
- 230000003068 static effect Effects 0.000 claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 6
- 230000001133 acceleration Effects 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 15
- 210000003128 head Anatomy 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 6
- 238000013500 data storage Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 2
- 238000000151 deposition Methods 0.000 claims 1
- 238000010606 normalization Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 210000001367 artery Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1103—Detecting eye twinkling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1118—Determining activity level
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Physiology (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Cardiology (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Dentistry (AREA)
- Ophthalmology & Optometry (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Pulmonology (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开了一种疲劳检测方法及装置，包括数据采集模块、核心处理模块、控制模块、计算模块和存储模块，数据采集模块、控制模块、计算模块、存储模块均与核心处理模块相连。检测时，首先采集无疲劳状态下脸部基准数据、肩部张合度、脉搏基准数据和腿部静止时长，其次采集疲劳状态下脸部基准数据、肩部张合度、脉搏基准数据和腿部静止时长，将无疲劳状态下数据与疲劳状态下数据合并整理后通过去噪和降维处理得到特征，建立MSDRNN网络模型对特征进行特征融合。与现有技术相比，本发明有效地结合图像检测与生物特征检测方案，实时且准确的检测人的疲劳程度，可用于为家庭儿童以及办公室工作人员长时间工作和学习提供了实时而准确的疲劳检测设备。
Description
技术领域
本发明涉及图像智能处理和识别领域，尤其涉及的是一种疲劳检测方法及装置。
背景技术
目前，人们的生活节奏越来越快，处于亚健康状态的人越来越多，特别针对长期处于疲劳状态的人们来说，他们总是在不知不觉中已处于疲劳状态。
而目前检测疲劳状态的技术都过于专业，人们需要到医院等专门机构进行健康检查。这种检测方式虽然准确、全面，但过于耗时费力，基于此，本发明提供了一种疲劳检测方法及装置，该装置为家庭儿童以及办公室工作人员长时间工作和学习提供了实时而准确的疲劳检测方案。单基于摄像头的面部疲劳检测通常会反馈不及时以及受光线的强弱影响效果；单基于脉搏频率等生物特征的疲劳检测通常无法准确反馈人的疲劳状态；现有的疲劳检测方案需要对检测的实时性和准确性进行改造。所以本发明使用了脸部特征，生物特征信号以及通过人眼与肩部的比例提取的肩部特征相结合的方案，提供准确性地疲劳特征检测；并使用了特征在时间上的形态相似距离训练的基于形态相似距离的回馈式神经网络(Recurrent Neural Network based on Morphology-Similarity-Distance，MSDRNN)模型训练出实时有效的疲劳检测模型。
发明内容
本发明的目的在于克服现有技术耗时费力的不足，提供了一种疲劳检测方法及装置，实时且准确的检测人的疲劳程度。
本发明是通过以下技术方案实现的：一种疲劳检测装置，包括数据采集模块、核心处理模块、控制模块、计算模块和存储模块，其特征在于：所述的数据采集模块包括通讯模块与传感器采集模块，所述的通讯模块与传感器采集模块相连，所述的控制模块包括指示灯、按键单元以及选择开关单元，所述的通讯模块包括USB与蓝牙，所述的核心处理模块包括FPGA开发板，所述的计算模块包括计算器，所述的存储模块设置有存储器，所述的数据采集模块、控制模块、计算模块、存储模块均与核心处理模块相连。
优选地，所述的数据采集模块用于采集人的疲劳特征；所述的核心处理模块用于对数据采集模块采集的数据进行处理，并将相应数据存储在存储器里；所述的控制模块用于控制疲劳检测装置；所述的计算模块用于对核心处理模块中的相应数据进行计算，并返回给核心处理模块；所述的存储模块用于对存储核心处理模块中的数据进行存储。
优选地，所述的传感器采集模块包括双目摄像头采集模块、脉搏传感器、加速度传感器和腿部传感器电路模块，所述的脉搏传感器、加速度传感器均与腿部传感器电路模块相连。
作为优选，所述的双目摄像头采集模块与通讯模块相连，所述的腿部传感器电路模块与通讯模块相连。
优选地，所述的双目摄像头采集模块通过USB与核心处理模块相连，所述的腿部传感器电路模块通过蓝牙与核心处理模块相连。
一种疲劳检测方法，其特征在于：包括以下步骤：
1)采集无疲劳状态下脸部基准数据采集人在无疲劳状态下60s内的脸部特征(眨眼频率w(t)1，嘴部张合度m(t)1，头部移动幅度h(t)1)，并对获取到的特征数据做去噪和规格化处理，得到脸部无疲劳状态下的基准数据；
2)采集无疲劳状态下的肩部张合度：根据人体结构比例，眼睛之间的距离和肩膀的宽度有一定关系，采集到肩部张合度数据；(详见说明书)
3)采集无疲劳状态下脉搏基准数据：首先通过脉搏传感器装置获取人60s内的脉搏跳动数据，并对获取到的数据做去噪处理，得到脉搏无疲劳状态下的基准数据p(t)1；
4)采集无疲劳下腿部静止时长：首先通过腿部的加速度传感器采集人在60s内的腿部运动信号，并通过去除腿部运动信号中前后部分噪音信号，得到准确的运动信号，然后根据腿部运动产生的局部加速度最大值(即信号中的局部峰值)，分别统计60s内所有相邻最大加速度的时长那个，并计算其平均值为腿部无疲劳状态下的静止时长l(t)1；
5)获取疲劳状态下基准数据：首先通过步骤1)采集疲劳状态下人的脸部特征(眨眼频率w(t)2，嘴部张合度m(t)2，头部移动幅度h(t)2)，再通过步骤2)提取人在疲劳状态下的肩膀张和度s(t)2，以及步骤3)采集人在疲劳状态下的脉搏频率p(t)2，最后通过步骤4)采集疲劳状态下人的腿部静止时长l(t)2；
6)训练数据整合：将无疲劳状态数据(眨眼频率w(t)1，嘴部张合度m(t)1，头部移动幅度h(t)1，肩膀张和度s(t)1，脉搏频率p(t)1，腿部静止时长l(t)1)与疲劳状态数据(眨眼频率w(t)2，嘴部张合度m(t)2，头部移动幅度h(t)2，肩膀张和度s(t)2，脉搏频率p(t)2，腿部静止时长l(t)2)合并整理后通过去噪和降维处理得到特征(眨眼频率w(t)3，嘴部张合度m(t)3，头部移动幅度h(t)3，肩膀张和度s(t)3，脉搏频率p(t)3，腿部静止时长l(t)3)；
7)建立MSDRNN网络模型对特征进行特征融合：监测数据经过去噪和降维处理之后作为步骤6)的疲劳特征模型的输入，通过模型的输出如果y(t)>0.5则表示人已经处于疲劳状态，指示灯闪烁且语音提示用户休息，反之则表示人处在正常状态(无疲劳)下。
本发明提供了一种疲劳检测方法及装置，包括数据采集模块、核心处理模块、控制模块、计算模块和存储模块，所述的数据采集模块、控制模块、计算模块、存储模块均与核心处理模块相连。检测时，首先通过采集无疲劳状态下脸部基准数据、肩部张合度数据、脉搏基准数据和腿部静止时长数据，其次采集疲劳状态下脸部基准数据、肩部张合度数据、脉搏基准数据和腿部静止时长数据，将无疲劳状态下数据与疲劳状态下数据合并整理后通过去噪和降维处理得到特征，建立MSDRNN网络模型对特征进行特征融合。与现有技术相比，本发明有效地结合图像检测与生物特征检测方案，实时且准确的检测人的疲劳程度，可用于为家庭儿童以及办公室工作人员长时间工作和学习提供了实时而准确的疲劳检测设备。
附图说明
图1为本发明提供的一种疲劳检测装置的结构示意图；
图2为本发明提供的一种疲劳检测方法的操作流程图；
图3为本发明提供的眼睛建模示意图；
图4为本发明提供的人体上半身比例示意图；
图5为本发明提供的倾斜检索矩形示意图；
图6为本发明提供的MSDRNN网络模型示意图；
图7为本发明提供的MSDRNN训练流程图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
参照附图1和图2，一种疲劳检测装置，包括数据采集模块、核心处理模块、控制模块、计算模块和存储模块，其特征在于：所述的数据采集模块包括通讯模块与传感器采集模块，所述的通讯模块与传感器采集模块相连，所述的控制模块包括指示灯、按键单元以及选择开关单元，所述的通讯模块包括USB与蓝牙，所述的核心处理模块包括FPGA开发板，所述的计算模块包括计算器，所述的存储模块设置有存储器，所述的数据采集模块、控制模块、计算模块、存储模块均与核心处理模块相连。
需要说明的是，数据采集模块是用于采集人的疲劳特征；所述的核心处理模块用于对数据采集模块采集的数据进行处理，并将相应数据存储在存储器里；所述的控制模块用于控制疲劳检测装置；所述的计算模块用于对核心处理模块中的相应数据进行计算，并返回给核心处理模块；所述的存储模块用于对存储核心处理模块中的数据进行存储。
优选地，所述的传感器采集模块包括双目摄像头采集模块、脉搏传感器、加速度传感器和腿部传感器电路模块，所述的脉搏传感器、加速度传感器均与腿部传感器电路模块相连，所述的双目摄像头采集模块与通讯模块相连，所述的腿部传感器电路模块与通讯模块相连，所述的双目摄像头采集模块通过USB与核心处理模块相连，所述的腿部传感器电路模块通过蓝牙与核心处理模块相连。
考虑到单基于摄像头的面部疲劳检测通常会反馈不及时以及受光线的强弱影响效果，单基于脉搏频率等生物特征的疲劳检测通常无法准确反馈人的疲劳状态，因此本方案设计采用双目摄像头采集模块采集脸部基准数据，采用加速度传感器采集肩部张合度数据，采用脉搏传感器采集脉搏基准数据，采用腿部传感器采集腿部静止时长数据，本领域的技术人员可理解的是，本发明使用了脸部特征，生物特征信号以及通过人眼与肩部的比例提取的肩部特征相结合的方案，提供准确性地疲劳特征检测。
本方案的具体实施方式的检测人疲劳的方法包括如下步骤：
1)采集无疲劳状态下脸部基准数据：采集人在无疲劳状态下60s内的脸部特征(眨眼频率w(t)1，嘴部张合度m(t)1，头部移动幅度h(t)1)，并对获取到的特征数据做去噪和规格化处理，得到脸部无疲劳状态下的基准数据。
2)定位上半身特征点：参照图3，通过图像处理中的亮度分析，图像差分，二值化以及滤波，膨胀，得到人上半身的轮廓检测图像，并通过建立二维坐标系(x,y)，并得到左眼中心的位置Eyel＝(xel,yel)，右眼中心的位置Eyer＝(xer,yer),以及对眼睛做矩形得到眼睛的高度Heye，人左肩的中心位置右肩膀的中心位置嘴的中心的位置Mouth＝(xm,ym)，两眼中心之间的距离Leye＝xer-xel。
3)采集无疲劳状态下的肩部张合度：根据人体结构比例，眼睛之间的距离和肩膀的宽度有一定关系，且由此可以建立左右搜索矩形，分别为其中的 分别为矩形的左上角坐标点，W，H分别为搜索矩形的宽和高，坐标的值使用2)中的定位点表示为 W＝Leye,H＝yel-ysl。参照图4和图5根据人不同坐姿下的眼睛中心的移动，可以建立倾斜检索矩形，表示为RECTtilt＝(wtilt,htilt,θ)，其中wtilt表示矩形的宽，htilt表示矩形的高，θ代表倾斜检索矩形与水平的夹角。(且其中wtilt＝Leye,htilt＝Heye)且根据三角函数可得cosθwtilt+sinθhtilt＝Leye，又因为肩膀张合度s(t)1≈θ，所以采集到肩部张合度s(t)1。
4)采集无疲劳状态下脉搏基准数据：首先通过脉搏传感器装置获取人60s内的脉搏跳动数据，并对获取到的数据做去噪处理，得到脉搏无疲劳状态下的基准数据p(t)1。
5)采集无疲劳下腿部静止时长：首先通过腿部的加速度传感器采集人在60s内的腿部运动信号，并通过去除腿部运动信号中前后部分噪音信号，得到准确的运动信号，然后根据腿部运动产生的局部加速度最大值(即信号中的局部峰值)，分别统计60s内所有相邻最大加速度的时长那个，并计算其平均值为腿部无疲劳状态下的静止时长l(t)1。
6)获取疲劳状态下基准数据：首先通过1)中步骤采集疲劳状态下人的脸部特征(眨眼频率w(t)2，嘴部张合度m(t)2，头部移动幅度h(t)2)，再通过2)与3)步骤提取人在疲劳状态下的肩膀张和度s(t)2，以及4)采集人在疲劳状态下的脉搏频率p(t)2，最后通过5)采集疲劳状态下人的腿部静止时长l(t)2。
7)训练数据整合：将无疲劳状态数据(眨眼频率w(t)1，嘴部张合度m(t)1，头部移动幅度h(t)1，肩膀张和度s(t)1，脉搏频率p(t)1，腿部静止时长l(t)1)与疲劳状态数据(眨眼频率w(t)2，嘴部张合度m(t)2，头部移动幅度h(t)2，肩膀张和度s(t)2，脉搏频率p(t)2，腿部静止时长l(t)2)合并整理后通过去噪和降维处理得到特征(眨眼频率w(t)3，嘴部张合度m(t)3，头部移动幅度h(t)3，肩膀张和度s(t)3，脉搏频率p(t)3，腿部静止时长l(t)3)。
8)建立MSDRNN网络模型对特征进行特征融合：基于回馈式神经网络(RNN)的基本原理，增加了基于形态相似距离(Morphology Similarity Distance,MSD)的记忆层(记忆层是指从隐含层回馈过来的神经元集合，用于记录隐含层上一个时间段的内容，参照图6，本方法中主要使用对前三个时间段的形态相似距离进行计算，而得到的前三个时间段对当前时间段的相似度影响，并使用激活函数的方法将相似度影响作为输入，输出相似度权值，并用线性方程的形式存储为当前时间段的记忆层)，为模型提供上一时间段的上下文依赖性。设t是网络所处的当前时刻，输入层分别输入脸部特征(眨眼频率w(t)3，嘴部张合度m(t)3，头部移动幅度h(t)3)，肩部与腿部特征(脉搏频率p(t)3，肩膀张和度s(t)3，腿部静止时长l(t)3)。Z1(t)与Z2(t)分别代表网络中两个隐含层的输出，W1,W2,W3,W4,W5,W6分别代表脸部特征到隐含层Z1(t)，隐含层Z1(t)到隐含层Z2(t),肩部与腿部特征到隐含层Z2(t)，隐含层Z2(t)到输出层y(t)，记忆层X1(t)到隐含层Z1(t)，记忆层X2(t)到隐含层Z2(t)的权值矩阵。其中隐含层Z1(t)的输出为Z1(t)＝f(W1(w(t)3+m(t)3+h(t)3)+W5X1(t))，隐含层Z2(t)的输出为Z2(t)＝f(W3(p(t)3+s(t)3+l(t)3)+W2Z1(t)+W6X2(t))，记忆层X1(t)的输出为记忆层X2(t)的输出为(其中Zi(t-j)表示隐含层i的前j个时间段的输出，其中表示前面第j个时间段对当前时间段的影响DMSD(t,t-j)表示前第j个时间段对当前时间段t之间的形态相似距离)，输出y(t)的计算公式为y(t)＝W4Z2(t)。(其中激活函数f取双曲正切函数，形态相似距离的计算使用公式其中tk表示时间段t的属性k的值)
9)使用误差反向传播算法(BP)训练MSDRNN模型，得到准确的无疲劳状态模型：参照图7，依据BP算法思想，先对MSDRNN网络模型中每一层节点的权值进行初始化，之后利用网络模型输出结果与输出层之间的误差来计算调整输出层的前一层的权值，再利用输出和训练目标之间的误差估计更新上一层的连接权值，这样一层一层地进行迭代误差修改当前层的连接权值矩阵(其中的优化方法使用梯度下降法)。其中将神经元i在迭代n次的输出误差定义为ei(n)＝di(n)-yi(n)(其中di(n)代表目标输出向量，yi(n)代表实际输出向量)，并且将神经元i的误差看成能量误差的瞬时值且计算总的误差值(Y为输出层的神经元数目)，最后得到无疲劳状态下的权值矩阵，并依据权值矩阵建立无疲劳状态的特征模型。
10)进行疲劳检测：检测时，通过双目摄像头实时采集人的肩部特征与脸部特征，同时通过脉搏传感器和腿部加速传感器实时检测人的脉搏运动和腿部运动。监测数据经过去噪和降维处理之后作为8)中的疲劳特征模型的输入，通过模型的输出如果y(t)>0.5则表示人已经处于疲劳状态，指示灯闪烁且语音提示用户休息，反之则表示人处在正常状态(无疲劳)下。
综上所述，本发明提供的一种疲劳检测方法及装置，包括数据采集模块、核心处理模块、控制模块、计算模块和存储模块，所述的数据采集模块、控制模块、计算模块、存储模块均与核心处理模块相连。检测时，首先通过采集无疲劳状态下脸部基准数据、肩部张合度数据、脉搏基准数据和腿部静止时长数据，其次采集疲劳状态下脸部基准数据、肩部张合度数据、脉搏基准数据和腿部静止时长数据，将无疲劳状态下数据与疲劳状态下数据合并整理后通过去噪和降维处理得到特征，建立MSDRNN网络模型对特征进行特征融合。与现有技术相比，本发明有效地结合图像检测与生物特征检测方案，实时且准确的检测人的疲劳程度，可用于为家庭儿童以及办公室工作人员长时间工作和学习提供了实时而准确的疲劳检测设备。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种疲劳检测装置，包括数据采集模块、核心处理模块、控制模块、计算模块和存储模块，其特征在于：所述的数据采集模块包括通讯模块与传感器采集模块，所述的通讯模块与传感器采集模块相连，所述的控制模块包括指示灯、按键单元以及选择开关单元，所述的通讯模块包括USB与蓝牙，所述的核心处理模块包括FPGA开发板，所述的计算模块包括计算器，所述的存储模块设置有存储器，所述的数据采集模块、控制模块、计算模块、存储模块均与核心处理模块相连。
2.根据权利要求1所述的一种疲劳检测装置，其特征在于：所述的数据采集模块用于采集人的疲劳特征；所述的核心处理模块用于对数据采集模块采集的数据进行处理，并将相应数据存储在存储器里；所述的控制模块用于控制疲劳检测装置；所述的计算模块用于对核心处理模块中的相应数据进行计算，并返回给核心处理模块；所述的存储模块用于对存储核心处理模块中的数据进行存储。
3.根据权利要求1所述的一种疲劳检测装置，其特征在于：所述的传感器采集模块包括双目摄像头采集模块、脉搏传感器、加速度传感器和腿部传感器电路模块，所述的脉搏传感器、加速度传感器均与腿部传感器电路模块相连。
4.根据权利要求3所述的一种疲劳检测装置，其特征在于：所述的双目摄像头采集模块与通讯模块相连，所述的腿部传感器电路模块与通讯模块相连。
5.根据权利要求4所述的一种疲劳检测装置，其特征在于：所述的双目摄像头采集模块通过USB与核心处理模块相连，所述的腿部传感器电路模块通过蓝牙与核心处理模块相连。
6.一种疲劳检测方法，其特征在于：包括以下步骤：
1)采集无疲劳状态下脸部基准数据采集人在无疲劳状态下60s内的脸部特征(眨眼频率w(t)1，嘴部张合度m(t)1，头部移动幅度h(t)1)，并对获取到的特征数据做去噪和规格化处理，得到脸部无疲劳状态下的基准数据；
2)采集无疲劳状态下的肩部张合度：根据人体结构比例，眼睛之间的距离和肩膀的宽度有一定关系，采集到肩部张合度数据；(详见说明书)
3)采集无疲劳状态下脉搏基准数据：首先通过脉搏传感器装置获取人60s内的脉搏跳动数据，并对获取到的数据做去噪处理，得到脉搏无疲劳状态下的基准数据p(t)1；
4)采集无疲劳下腿部静止时长：首先通过腿部的加速度传感器采集人在60s内的腿部运动信号，并通过去除腿部运动信号中前后部分噪音信号，得到准确的运动信号，然后根据腿部运动产生的局部加速度最大值(即信号中的局部峰值)，分别统计60s内所有相邻最大加速度的时长那个，并计算其平均值为腿部无疲劳状态下的静止时长l(t)1；
5)获取疲劳状态下基准数据：首先通过步骤1)采集疲劳状态下人的脸部特征(眨眼频率w(t)2，嘴部张合度m(t)2，头部移动幅度h(t)2)，再通过步骤2)提取人在疲劳状态下的肩膀张和度s(t)2，以及步骤3)采集人在疲劳状态下的脉搏频率p(t)2，最后通过步骤4)采集疲劳状态下人的腿部静止时长l(t)2；
6)训练数据整合：将无疲劳状态数据(眨眼频率w(t)1，嘴部张合度m(t)1，头部移动幅度h(t)1，肩膀张和度s(t)1，脉搏频率p(t)1，腿部静止时长l(t)1)与疲劳状态数据(眨眼频率w(t)2，嘴部张合度m(t)2，头部移动幅度h(t)2，肩膀张和度s(t)2，脉搏频率p(t)2，腿部静止时长l(t)2)合并整理后通过去噪和降维处理得到特征(眨眼频率w(t)3，嘴部张合度m(t)3，头部移动幅度h(t)3，肩膀张和度s(t)3，脉搏频率p(t)3，腿部静止时长l(t)3)；
7)建立MSDRNN网络模型对特征进行特征融合：监测数据经过去噪和降维处理之后作为步骤6)的疲劳特征模型的输入，通过模型的输出如果y(t)>0.5则表示人已经处于疲劳状态，指示灯闪烁且语音提示用户休息，反之则表示人处在正常状态(无疲劳)下。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710350475.7A CN107692984A (zh) | 2017-05-18 | 2017-05-18 | 一种疲劳检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710350475.7A CN107692984A (zh) | 2017-05-18 | 2017-05-18 | 一种疲劳检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107692984A true CN107692984A (zh) | 2018-02-16 |
Family
ID=61169491
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710350475.7A Pending CN107692984A (zh) | 2017-05-18 | 2017-05-18 | 一种疲劳检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107692984A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110522426A (zh) * | 2019-09-05 | 2019-12-03 | 大连海事大学 | 一种基于多传感器的舰船人员行为智能监测系统 |
| CN110786869A (zh) * | 2019-10-29 | 2020-02-14 | 浙江工业大学 | 一种程序员的疲劳程度的检测方法 |
| CN112329546A (zh) * | 2020-10-15 | 2021-02-05 | 杭州电子科技大学 | 一种基于深度学习的眼睛高度测量方法 |
| CN115067945A (zh) * | 2022-08-22 | 2022-09-20 | 深圳市海清视讯科技有限公司 | 疲劳检测方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101772320A (zh) * | 2007-07-26 | 2010-07-07 | 皇家飞利浦电子股份有限公司 | 用于自动传感器位置识别的系统和方法 |
| US20110025834A1 (en) * | 2009-07-31 | 2011-02-03 | Samsung Electronics Co., Ltd. | Method and apparatus of identifying human body posture |
| CN102860830A (zh) * | 2012-09-12 | 2013-01-09 | 上海大学 | 基于fpga的疲劳驾驶双目检测硬件平台 |
| CN103747722A (zh) * | 2012-06-05 | 2014-04-23 | 博伊雷尔有限责任公司 | 紧张状态和疲劳分析及诊断仪 |
| CN105488957A (zh) * | 2015-12-15 | 2016-04-13 | 小米科技有限责任公司 | 疲劳驾驶检测方法及装置 |
| CN105597298A (zh) * | 2016-04-05 | 2016-05-25 | 哈尔滨工业大学 | 基于肌电信号及肢体动作检测的健身效果评价系统 |
-
2017
- 2017-05-18 CN CN201710350475.7A patent/CN107692984A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101772320A (zh) * | 2007-07-26 | 2010-07-07 | 皇家飞利浦电子股份有限公司 | 用于自动传感器位置识别的系统和方法 |
| US20110025834A1 (en) * | 2009-07-31 | 2011-02-03 | Samsung Electronics Co., Ltd. | Method and apparatus of identifying human body posture |
| CN103747722A (zh) * | 2012-06-05 | 2014-04-23 | 博伊雷尔有限责任公司 | 紧张状态和疲劳分析及诊断仪 |
| CN102860830A (zh) * | 2012-09-12 | 2013-01-09 | 上海大学 | 基于fpga的疲劳驾驶双目检测硬件平台 |
| CN105488957A (zh) * | 2015-12-15 | 2016-04-13 | 小米科技有限责任公司 | 疲劳驾驶检测方法及装置 |
| CN105597298A (zh) * | 2016-04-05 | 2016-05-25 | 哈尔滨工业大学 | 基于肌电信号及肢体动作检测的健身效果评价系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110522426A (zh) * | 2019-09-05 | 2019-12-03 | 大连海事大学 | 一种基于多传感器的舰船人员行为智能监测系统 |
| CN110786869A (zh) * | 2019-10-29 | 2020-02-14 | 浙江工业大学 | 一种程序员的疲劳程度的检测方法 |
| CN110786869B (zh) * | 2019-10-29 | 2021-12-21 | 浙江工业大学 | 一种程序员的疲劳程度的检测方法 |
| CN112329546A (zh) * | 2020-10-15 | 2021-02-05 | 杭州电子科技大学 | 一种基于深度学习的眼睛高度测量方法 |
| CN115067945A (zh) * | 2022-08-22 | 2022-09-20 | 深圳市海清视讯科技有限公司 | 疲劳检测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107423730A (zh) | 一种基于语义折叠的人体步态行为主动检测识别系统和方法 | |
| CN104951808B (zh) | 一种用于机器人交互对象检测的3d视线方向估计方法 | |
| CN106175778B (zh) | 一种建立步态数据集的方法及步态分析方法 | |
| WO2018120964A1 (zh) | 一种基于深度信息和骨骼信息的姿势矫正方法 | |
| CN107692984A (zh) | 一种疲劳检测方法及装置 | |
| CN104598867B (zh) | 一种人体动作自动评估方法及舞蹈评分系统 | |
| CN104361321B (zh) | 一种判断老年人摔倒行为及身体平衡能力的方法 | |
| CN110334573B (zh) | 一种基于密集连接卷积神经网络的人体运动状态判别方法 | |
| CN107007257B (zh) | 面部不自然度的自动评级方法和装置 | |
| CN110162163B (zh) | 一种基于体感和vr技术的虚拟消防演练方法及系统 | |
| CN110197169A (zh) | 一种非接触式的学习状态监测系统及学习状态检测方法 | |
| CN106022213A (zh) | 一种基于三维骨骼信息的人体动作识别方法 | |
| CN105608467A (zh) | 基于Kinect的无接触式学生体质测评方法 | |
| CN107249455A (zh) | 逐次姿势识别装置及植物性神经功能信息取得装置、方法和程序 | |
| CN110600125B (zh) | 一种基于人工智能的体态分析助手系统及传输方法 | |
| CN113663312B (zh) | 一种基于微惯性的无器械健身动作质量评估方法 | |
| CN110490109A (zh) | 一种基于单目视觉的在线人体康复动作识别方法 | |
| CN109091150A (zh) | 睡眠体动的识别方法、睡眠质量评估方法及智能穿戴设备 | |
| Xu et al. | Elders’ fall detection based on biomechanical features using depth camera | |
| CN113856186B (zh) | 一种引体向上动作判定与计数的方法、系统及装置 | |
| CN107397658A (zh) | 一种多尺度全卷积网络及视觉导盲方法和装置 | |
| Nahavandi et al. | A skeleton-free kinect system for body mass index assessment using deep neural networks | |
| CN107967941A (zh) | 一种基于智能视觉重构的无人机人体健康监控方法与系统 | |
| CN109559373B (zh) | 一种基于2d人体图像进行量体的方法及系统 | |
| CN106073793A (zh) | 基于微惯性传感器的姿态跟踪与识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180216 |
|
| WD01 | Invention patent application deemed withdrawn after publication |