CN111281403B - 一种基于嵌入式设备的细粒度人体疲劳检测方法及设备 - Google Patents

一种基于嵌入式设备的细粒度人体疲劳检测方法及设备 Download PDF

Info

Publication number
CN111281403B
CN111281403B CN202010157776.XA CN202010157776A CN111281403B CN 111281403 B CN111281403 B CN 111281403B CN 202010157776 A CN202010157776 A CN 202010157776A CN 111281403 B CN111281403 B CN 111281403B
Authority
CN
China
Prior art keywords
blinking
eye
human
state
fatigue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010157776.XA
Other languages
English (en)
Other versions
CN111281403A (zh
Inventor
丁菡
何旭
戴梓怡
邹祥
韩劲松
惠维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202010157776.XA priority Critical patent/CN111281403B/zh
Publication of CN111281403A publication Critical patent/CN111281403A/zh
Application granted granted Critical
Publication of CN111281403B publication Critical patent/CN111281403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains

Abstract

本发明公开了一种基于嵌入式设备的细粒度人体疲劳检测方法及设备，采用红外光感知设备和MCU控制单元搭建人体疲劳检测设备；利用人眼瞳孔对于光线的吸收作用，通过红外光感知设备采集人眼状态信息；设置MCU控制单元的ADC转换参数，将模拟信号转化成数字信号；并对每个光电二极管进行初始化设置，得到人眼睁开状态的基准值，对基准值数据进行滤波和平滑预处理；使用CUSUM算法对预处理后的数据进行处理，确定时域上的潜在眨眼位置；采用两种配套方法判断真正眨眼的行为；利用PERCLOS方法对疲劳状态进行估计和判断，完成人体疲劳检测。本发明可以更为精确的采集人眼的状态信息，闭眼时长和眨眼时长，满足日常佩戴对疲劳进行长期监测。

Description

一种基于嵌入式设备的细粒度人体疲劳检测方法及设备
技术领域
本发明属于人体疲劳检测技术领域，具体涉及一种基于嵌入式设备的细粒度人体疲劳检测方法及设备。
背景技术
人体疲劳检测一直以来都是许多行业的研究热点：在交通运输行业，汽车司机以及铁路机车司机因为疲劳而造成的事故数量，每年都会随着车辆的增多、机车交路不断延伸等因素影响，呈递增趋势；同时，在医学领域，疲劳是一些健康问题的先导信号，如癌症、成瘾性精神疾病等，可以通过日常对于患者疲劳的监测，从而辅助医生在早期做出及时的预警与判断。现有的疲劳检测方法有很多种，常见的可以分为基于人体物理信号的方法以及基于人体行为信号的方法。
现有的检测方法各自都有自己的优势与劣势，市面上始终缺少一种可以应用于日常、方便携带、价格低且检测正确率高的疲劳检测方法：
基于人体脑电图EEG对疲劳进行的监测，被公认为最准确的方法。但是精确的脑电图测量依靠专业设备，需要在头上粘贴电极，脑电信号个体间的生理反映差距较大，需要一个稳定的测量环境，易收到外界环境因素的干扰，并且价格过高。因此这一系列的限制，导致脑电图对于疲劳的检测仅仅在医学及实验室中得到局部应用，并没有在实际的生产生活大规模推广。
基于心电信号ECG的疲劳监测，包括心率指标和心率变异性指标，是判断驾驶疲劳的一项重要生理指标。心电信号目前在智能设备上，如智能手表、智能手环等，都可以十分便捷的获取，且非侵入式，便携性较好。然而心电信号的有着其明显的缺陷，人在疲劳时的心率是一个长时间段内的整体下降，短时间心率的下降可能并非由疲劳造成，这对使得心电信号对于疲劳的敏感性以及诊断性较差，这种方法宜结合其他分析方法进行综合研究。
基于人眼状态信息的疲劳检测，成为了近期研究的热点，在疲劳驾驶检测、飞行员疲劳监测中都有着不错的研究进展。研究发现：眼睛闭合时间的长短与疲劳程度有着密切的关系，医学上提出了PERCLOS(Percentage of Eyelid Closure over the Pupil,Overtime)的疲劳测量指标，并且已经成为了公认最有效的、实时的驾驶疲劳测评方法。目前大部分研究成果主要集中在利用图像的方法，来对驾驶员或被检测者进行摄像，提取图片进行图像处理、人脸识别、人眼识别等一系列步骤，从而得到PERCLOS检测方法所需要的参数，进行疲劳检测。但是图像的方法毕竟不是主要用于人眼状态信息提取，所以图像的方法就会局限于：日常应用下环境光的干扰、被检测人需要长时间处于正对摄像头的状态、图像精确度不高且计算量庞大、高fps摄像头的价格太高等。这些限制都造成了图像利用人眼信息对于疲劳进行疲劳检测都局限在实验室中，推广困难。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于嵌入式设备的细粒度人体疲劳检测方法及设备，利用普适商用嵌入式传感设备与计算单元，制作出一种便于携带、造价低且精确度高的日常人体疲劳检测设备。
本发明采用以下技术方案：
一种基于嵌入式设备的细粒度人体疲劳检测方法，包括以下步骤：
S1、采用红外光感知设备和MCU控制单元搭建人体疲劳检测设备；
S2、利用人眼瞳孔对于光线的吸收作用，通过红外光感知设备采集人眼状态信息；
S3、设置MCU控制单元的ADC转换参数，将模拟信号转化成数字信号；并对每个光电二极管进行初始化设置，得到人眼睁开状态的基准值，对基准值数据进行滤波和平滑预处理；
S4、使用CUSUM算法对步骤S3预处理后的数据进行处理，确定时域上的潜在眨眼位置；
S5、采用两种配套方法判断真正眨眼的行为；
S6、步骤S5完成后，利用PERCLOS方法对疲劳状态进行估计和判断，完成人体疲劳检测。
具体的，步骤S1中，红外光感知设备与MCU控制单元连接，红外光感知设备用于对人眼周围光电二极管的光照强度感知，并由MCU控制单元对采集到的数据进行处理与后续传输工作。
具体的，步骤S2中，通过红外光感知设备采集人眼状态信息，当人眼处于睁开状态下，瞳孔对光线产生吸收作用，人眼周围的光电二极管感知到的光照强度大于人眼处于闭合时感知到的光照强度；眨眼的闭合或睁开过程中，光照强度具有突变过程，红外光感知设备根据突变过程判断眨眼过程信息。
具体的，步骤S3具体为：
S301、MCU控制单元的ADC转换设置中，位宽配置为12bit，0db衰减，将满量程电压1.1V转换成数字读数范围0～1023；
S302、假设人眼在初始检测时，处于睁开状态至少为100ms，采集100ms的数值并计算出平均值，作为人眼睁开状态下的基准值；
S303、利用步骤S302得到的基准值排除掉极端值；
S304、让初始化的数据通过低通滤波器并进行平滑处理。
具体的，步骤S4具体为：
S401、优化CUSUM算法，加入一个变量K，通过调整变量K的值，使CUSUM值在人眼处于睁眼状态以及从闭眼向睁眼状态转换时线性递减；当处于闭眼状态以及从睁眼状态向闭眼状态转换时，CUSUM值线性递增；
S402、使用波峰波谷搜索算法，找到状态转换点A和B；将预处理后的数据反向使用CUSUM算法，找到另外两个状态转换点C和D；在一个潜在眨眼周期中得到闭眼过程持续的时间TAD，闭眼持续的时间TDB，睁眼过程持续的时间TBC，眨眼整个过程所用的时间TAC。
具体的，步骤S5具体为：
S501、特征值提取完成后，对是否真实眨眼进行初步判断，眨眼整个过程所用的时间TAC小于60ms；闭眼持续的时间TDB大于600ms；眨眼信号的轨迹是相对对称的，若左右信号高低差超过设定阈值，则说明不是正常眨眼；
S502、步骤S501完成后，进行相对精确的判断，使用标准的逻辑回归分类器，从眨眼特征向量到是否眨眼进行分类判断。
进一步的，步骤S502中，眨眼特征向量归属于眨眼的概率为：
Figure BDA0002404694830000041
其中，y为样本x所属的标签，ω与b为分类器的参数，T为转置符；
定义数据标签1代表眨眼，0代表非眨眼；如果P(Y＝1)＞0.5，判断为真正的眨眼，P为样本数据为1或0的概率，Y为当前样本。
具体的，步骤S6中，当PERCLOS值β≥0.4时，视为疲劳状态。
具体的，当闭眼时间Tcloure大于200ms时为慢眨眼，在1KHz的工作频率下，采集每分钟慢眨眼所占整个眨眼次数的比例，当大于50％时，进入20KHz的工作频率下进行检测；否则，处于1KHz的低工作频率下进行检测。
本发明的另一个技术方案是，一种人体疲劳检测设备，采用所述的方法，包括红外光感知设备，红外光感知设备设置在镜框上，分别与MCU控制单元和电池连接，MCU控制单元连接有数据传输单元，红外光感知设备包括1个NIR LED近红外发光LED、7个光电二极管、电流控制器和运放，7个光电二极管周向设置，NIR LED近红外发光LED与电流控制器组成回路并与5V电源相连接，能够提供人眼安全范围内的红外光源照明；运放与电源连接用于放大光电二极管感知到的光强信号。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种基于嵌入式设备的细粒度人体疲劳检测方法，利用人眼瞳孔相对于虹膜对于光线的吸收作用，制作出一套专用于监测人眼信息的眼镜传感设备；利用低功率NIRLED在人眼周围起到自主光源的作用，并在人眼周围布置光电二极管，来接收从人眼反射的红外光强度，再通过嵌入式控制芯片将采集到的人眼信息传到计算机中，经过眨眼检测、疲劳推断等步骤，从而可以精确的实时反应人体疲劳状态，同时，本发明所采用的设备功耗相对于相机更小，疲劳检测阶段所需要的数据计算量更小，造价更低，更能满足日常佩戴对疲劳进行长期监测。
进一步的，MCU提供了计算与控制作用，具有蓝牙与WIFI等信息传输模块，作为一个集成的小型计算机系统，可以为光感知设备提供一定复杂度上的计算与数据的传输与发送作用MCU与红外光感知设备搭配使用，可以大大提升设备的实时性与通用性。
进一步的，人眼对于人体疲劳的反映的准确性和实时性较好，利用光学感知设备，采集人眼瞳孔因吸收作用造成的睁眼和闭眼状态对光线反射存在差异的特性，来对人眼状态进行采集与监测；利用红外的光感知设备有效的减少了自然光的影响，增强了系统的普适性与鲁棒性。
进一步的，步骤S3中，将采集来的模拟信号通过数据的处理，转换成期望的数字信号，其数字波动在最能反映模拟信号变化的范围内，有利于观测到模拟信号的变化；对于转化后的数字信号的预处理，以及基准值校订，有效的减少了不同二极管之间的数据差异，减少了误差，去除了噪声。
进一步的，步骤S4中，利用突变点检测的有效算法CUSUM，可以确定眨眼变化在数据时域中的具体位置，方便下一步的处理与计算，同时，CUSUM算法的计算复杂度较低，更适合本发明的使用场景。
进一步的，步骤S5中，利用两种不同的判断标准，判断是否为真正的眨眼过程：首先利用最初得到的特征，排除掉一些极端的潜在眨眼行为；其次，再利用二元分类器，对潜在眨眼进行更为精确的判断。这样做的好处为可以降低计算复杂度，提升判断是否为眨眼的准确率。
进一步的，利用PERCLOS方法对于疲劳进行检测，眨眼时长与闭眼时长时长的计算影响最终的准确率。相对于传统利用图像的方法来说，本发明的采集频率最高可以达到20KHz，而传统相机每秒采集图像的速率一般在30～60fps，因此本发明在计算闭眼时长以及眨眼时长上误差更小。
进一步的，采用两种不同的工作频率与判断方式，可以降低整体设备运行的功耗，延长设备的使用时间，满足日常长时间佩戴的需求。
综上所述，本发明可以更为精确的采集人眼的状态信息，闭眼时长和眨眼时长，满足日常佩戴对疲劳进行长期监测。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的总体框架图；
图2为嵌入式疲劳检测眼镜示意图；
图3为疲劳检测流程；
图4为人眼结构与光线反射示意图；
图5为人眼不同状态对光电二极管读数的影响示意图；
图6为眨眼位置的检测与特征的提取示意图；
图7为眨眼检测整体结果示意图；
图8为不同时刻光照影响示意图；
图9为与视频方法对于PERCLOS值测量比较示意图。
具体实施方式
本发明提供了一种基于嵌入式设备的细粒度人体疲劳检测方法及设备，利用人眼瞳孔对于光线的吸收作用，将近红外传感器布置在日常佩戴的眼镜上，建立人眼状态信息实时的采集、计算以及传输设备及检测系统；先经过对采集到的人眼状态信息数据进行预处理、滤波和平滑处理，再进行眨眼位置判断、眨眼特征提取和判断眨眼行为检测步骤，将带有人眼状态信息的特征向量放入逻辑回归分类器中，判断人体疲劳状态，最后再利用节能策略，大大提升了疲劳检测眼镜的使用时间。本发明相对于已有疲劳检测技术，能够适应多种应用场景，既可以长时间监测人体疲劳状态，反映健康情况，又可以在疲劳驾驶检测等领域进行实时疲劳检测。本发明能够在实现较高疲劳检测准确度的同时，满足易用性与安全性，不会记录用户额外的隐私生活，方便与其他智能设备相结合，且造价较低。
请参阅图1，本发明一种基于嵌入式设备的细粒度人体疲劳检测方法，包括以下步骤：
S1、采用红外光感知设备、MCU控制单元、电池和镜框搭建人体疲劳检测眼镜设备；
红外光感知设备主要是对人眼周围光电二极管的光照强度感知，并由MCU计算控制单元对采集到的数据进行处理与后续传输工作，电池起到供电作用；
检测整体框架如图1所示，眼镜设备原型参见图2，光感知单元主要由光电二极管、NIR LED、电流控制器以及运放组成，感知计算模块与数据传输单元集成在MCU中，MCU通过数据线与光感知单元相连接。感知计算模块主要对光感知单元采集到的数据进行计算与处理，软件检测算法运行在计算模块中，数据传输单元主要对检测结果进行发送等操作。
S2、利用人眼瞳孔对于光线的吸收作用，通过红外光感知设备采集人眼状态信息；
请参阅图4，瞳孔可以被视作一个处于虹膜中间的小孔，光线透过瞳孔撞击视网膜产生光感；如果进入瞳孔的光线与光源不处于一条直线上，那么进入瞳孔的光线能量将会经过多次反射后被眼球中的组织吸收，极少光线能够再次反射出瞳孔，从而造成了瞳孔对光线具有一定的吸收作用。
因此，利用上述眼球瞳孔对于光线的吸收作用，设计疲劳检测眼镜的红外光感知设备，请参阅图2，红外光感知设备主要由以下几个部分组成：
1个NIR LED，型号为VSMY2943slx，具有高可靠性、足够的光强、30度半值角、Vishays最新的SurLight技术可以高效集中光照能量、更低功耗等优势；
7个光电二极管，型号为BPV22F，其具有感光范围大的优势，与NIR LED具有相同的红外峰光强敏感度以及红外光谱带宽，从而几乎可以不受环境光的影响。
还有电流控制器以及运放起到控制NIR LED的光照强度使之达到安全标准的同时可以采集到光电二极管的光强数据。
NIR LED近红外发光LED与电流控制器组成一个回路，与5V电源相连接，提供人眼安全范围内的红外光源照明；运放与电源相连接提供信号放大作用，放大光电二极管感知到的光强信号。NIR LED与光电二极管具有相同的红外峰光强敏感度以及红外光谱带宽，因此可以物理上屏蔽自然光的影响；运算放大器起到将小的信号数据变化放大，从而便于观测到人眼状态变化造成的数据上的变化；电流控制器限制NIR LED发光效率，使之在人眼安全的光强范围下，可以正常工作，并采集到特征信号。
请参阅图5，为红外光感知设备的工作原理，当人眼处于睁开状态下，由于瞳孔对于光线的吸收作用，人眼周围的光电二极管感知到的光照强度会比人眼处于闭合时感知到的光照强度要低；眨眼的闭合或睁开过程中，光照强度会有一个明显的突变过程。因此，红外光感知设备可以准确的反应眨眼过程的信息。
S3、设置MCU端ADC转换参数，将模拟信号转化成数字信号，范围为0～1023；并对每个光电二极管进行初始化设置，得到人眼睁开状态的基准值，对数据进行滤波、平滑处理；
因为光电二极管以及MCU固有的硬件缺陷，采集得到的原始光强数据会在一定范围内波动，有少部分数据会存在为0的特殊情况，因此必须进行信号预处理，具体为：
S301、MCU控制单元(ESP32)端ADC转换设置中，位宽配置为12bit，0db衰减，从而使满量程电压1.1V转换成数字读数范围0～1023；
S302、为了方便对每个光电二极管进行初始化，假设人眼在初始检测时，处于睁开状态至少100ms，采集100ms的数值并计算出平均值，作为人眼睁开状态下的基准值；
S303、利用这个基准值排除掉极端值，如0值；
S304、让初始化的数据通过低通滤波器并进行平滑处理，如图3所示。
S4、根据预处理后的数据，在时域上对潜在眨眼位置进行确定；
请参阅图6，参考经典突变点检测算法CUSUM，并在CUSUM的基础上进行了优化，使之更适合本发明的应用场景。CUSUM是一种时间加权控制图，显示每个样本值与目标值偏差的积累和，其主要思想就是对样本数据信息加以积累，将过程的小偏移积累起来，达到放大的效果，从而提高检测过程中对小偏移的灵敏度。
在CUSUM算法中，给出一个样本大小为n，n大于等于1，则统计累计和si定义为：
Figure BDA0002404694830000101
其中，xj是第j个样本的均值，μ0是过程平均值的目标值，在本发明的设置中n＝1，极大的简化CUSUM的计算量。
当过程处于某一稳定状态时，CUSUM值是一个在0值左右浮动的随机变量。
S401、优化CUSUM算法，使之更加明显的反应累计的微小变动：加入一个变量K，通过调整变量K的值，使CUSUM值在人眼处于睁眼状态以及从闭眼向睁眼状态转换时，线性递减；处于闭眼状态以及从睁眼状态向闭眼状态转换时，CUSUM值线性递增。
S402、CUSUM值得图形呈现锯齿状，下面再使用波峰波谷搜索算法，找到状态转换点A和B；同理，将预处理后的数据反向使用CUSUM算法，就能找到另外两个状态转换点C和D。
根据下述计算方式，分别计算出闭眼持续时间，闭眼过程时间、睁眼过程时间以及眨眼总时间：
TAD＝tD-tA
TDB＝tB-tD
TBC＝tC-tB
TAC＝tC-tA
其中，t为时域上A、B、C、D四个点的时刻。
因此，在一个潜在眨眼周期中可以计算出特征有：
闭眼过程持续的时间TAD，闭眼持续的时间TDB，睁眼过程持续的时间TBC，眨眼整个过程所用的时间TAC，以上四个时间值是后续疲劳检测算法PERCLOS所需的参数，如图6所示。
S5、采用两种配套方法判断真正眨眼的行为；
S501、特征值提取完成后，对是否真实眨眼进行初步判断；
在日常环境中，人可能会因为强光、揉眼、打哈气等影响，产生闭眼行为，这些行为都会在采集到的数据中得到类似于眨眼的数据。
本发明采取了两种方法来筛选出真正的眨眼行为。在医学领域的研究中发现，虽然不同个体间人眼性状等存在差异，但是在眨眼这个行为中存在共同点：总体来说，人们的眨眼的轨迹相似，都是一个相对快速的闭眼(平均50ms)紧接着一个相对慢速的睁眼(120ms)，眨眼过程持续的时间从最快100ms到最慢600毫秒波动。
因此，首先使用相对粗略的策略来排除明显不是日常眨眼的行为：
眨眼整个过程所用的时间TAC小于60ms；闭眼持续的时间TDB大于600ms；
对称性，眨眼信号的轨迹是相对对称的，若左右信号高低差超过一个阈值(本发明中设置为10)，则说明不是正常眨眼，如图3所示。
S502、初步判断排除极端非眨眼信号后，进行相对精确的判断：使用标准的逻辑回归分类器，从眨眼特征向量到是否眨眼进行分类判断。
线性逻辑回归分类器是一个21组加法和乘法组成的分类器，其低计算复杂度符合嵌入式MCU设备的要求。
二元逻辑回归最终得到一个眨眼特征向量归属于眨眼的概率(0-1)：
Figure BDA0002404694830000121
其中，y代表样本x所属的标签，ω与b则表示为分类器的参数，T为转置符。
线性逻辑回归的优势在于可以不用对数据分布进行预判断，从而避免了不正确的数据分布假设带来的错误。
如果P(Y＝1)＞0.5，这个潜在眨眼的样本就被认为是真正的眨眼，本发明对数据的标签1代表眨眼，0代表非眨眼；然后利用最大似然估计，对参数ω与b进行最优计算，定义
Figure BDA0002404694830000122
为本发明的数据集，似然函数公式定义如下：
Figure BDA0002404694830000123
其中，N为样本大小，n为当前样本序号。
S6、在确定眨眼位置以及判断为正常眨眼后，利用PERCLOS方法对疲劳状态进行估计；
PERCLOS有三个估计标准：P70，P80和EM。
其中，P80，即人眼闭合程度超过80％就被视为闭眼状态，是一种使用最广泛的可靠判断标准。
计算PERCLOS值β计算如下：
Figure BDA0002404694830000131
其中，∑Tcloure与∑Tfull-blink分别代表1分钟内以20KHz的采集频率，闭眼时间总和以及眨眼整个过程时间总和；当PERCLOS值β≥0.4时，即可被视为疲劳状态。
S7、设置疲劳检测设备节能策略，增加疲劳检测眼镜的使用时间。
20KHz的采集频率，会使得采集功耗及计算功耗增大，续航时间下降。因此，Tcloure闭眼时间大于200ms，就将其称之为慢眨眼，在1KHz的工作频率下，采集每分钟慢眨眼所占整个眨眼次数的比例，大于50％就进入20KHz的高精度工作频率下进行进一步检测；否则，就继续处于1KHz的低工作频率下，直到被唤醒。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明采用模拟驾驶场景的形式对疲劳检测设备进行了不用场景的实验验证。
请参阅图7，在不同环境下(室内和室外)，对设备眨眼判断阶段评估的结果，采用F1 score方式来对整体分类准确率进行评估，结果显示室内外都可以达到较高的准确率，室内的准确率略高于室外。
请参阅图8，一天中不同时间光照强度不同，自然光对设备影响的评估中，可以看出本发明的设备检测方式对于自然光的干扰很小。
请参阅图9，本发明与30FPS的相机进行了对PERCLOS值检测的对比试验，可以看出本发明的设备在对PERCLOS值的计算中，准确率高于常规30fps相机。
综上所述，本发明一种基于嵌入式设备的细粒度人体疲劳检测方法及设备，具有更低的计算复杂度、更少的功耗以及更高更细粒度的精确度，同时有效保护了用户的隐私，造价更低且可以满足移动佩戴监测的需求；与医疗脑电方法相对比而言，降低了布置的复杂度与成本，在保证准确率的前提下，满足多种日常生活场景，更易推广使用。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (7)

1.一种人体疲劳检测设备，其特征在于，包括红外光感知设备，红外光感知设备设置在镜框上，分别与MCU控制单元和电池连接，MCU控制单元连接有数据传输单元，红外光感知设备包括1个NIR LED近红外发光LED、7个光电二极管、电流控制器和运放，7个光电二极管周向设置，NIR LED近红外发光LED与电流控制器组成回路并与5V电源相连接，能够提供人眼安全范围内的红外光源照明；运放与电源连接用于放大光电二极管感知到的光强信号；
红外光感知设备与MCU控制单元连接，红外光感知设备用于对人眼周围光电二极管的光照强度感知，并由MCU控制单元对采集到的数据进行处理与后续传输工作；
红外光感知设备采集人眼状态信息；
设置MCU控制单元的ADC转换参数，将模拟信号转化成数字信号；并对每个光电二极管进行初始化设置，得到人眼睁开状态的基准值，对基准值数据进行滤波和平滑预处理；
使用CUSUM算法对预处理后的数据进行处理，确定时域上的潜在眨眼位置；
采用两种配套方法判断真正眨眼的行为；
利用PERCLOS方法对疲劳状态进行估计和判断，完成人体疲劳检测；
当闭眼时间Tcloure大于200ms时为慢眨眼，在1KHz的工作频率下，采集每分钟慢眨眼所占整个眨眼次数的比例，当大于50％时，进入20KHz的工作频率下进行检测；否则，处于1KHz的低工作频率下进行检测。
2.根据权利要求1所述的人体疲劳检测设备，其特征在于，通过红外光感知设备采集人眼状态信息，当人眼处于睁开状态下，瞳孔对光线产生吸收作用，人眼周围的光电二极管感知到的光照强度会比人眼处于闭合时感知到的光照强度要低；眨眼的闭合或睁开过程中，光照强度具有突变过程，红外光感知设备根据突变过程判断眨眼过程信息。
3.根据权利要求1所述的人体疲劳检测设备，其特征在于，预处理具体为：
S301、MCU控制单元的ADC转换设置中，位宽配置为12bit，0db衰减，将满量程电压1.1V转换成数字读数范围0～1023；
S302、假设人眼在初始检测时，处于睁开状态至少为100ms，采集100ms的数值并计算出平均值，作为人眼睁开状态下的基准值；
S303、利用步骤S302得到的基准值排除掉极端值；
S304、让初始化的数据通过低通滤波器并进行平滑处理。
4.根据权利要求1所述的人体疲劳检测设备，其特征在于，确定时域上的潜在眨眼位置具体为：
S401、优化CUSUM算法，加入一个变量K，通过调整变量K的值，使CUSUM值在人眼处于睁眼状态以及从闭眼向睁眼状态转换时线性递减；当处于闭眼状态以及从睁眼状态向闭眼状态转换时，CUSUM值线性递增；
S402、使用波峰波谷搜索算法，找到状态转换点A和B；将预处理后的数据反向使用CUSUM算法，找到另外两个状态转换点C和D；在一个潜在眨眼周期中得到闭眼过程持续的时间TAD，闭眼持续的时间TDB，睁眼过程持续的时间TBC，眨眼整个过程所用的时间TAC。
5.根据权利要求1所述的人体疲劳检测设备，其特征在于，判断真正眨眼行为具体为：
S501、特征值提取完成后，对是否真实眨眼进行初步判断，眨眼整个过程所用的时间TAC小于60ms；闭眼持续的时间TDB大于600ms；眨眼信号的轨迹是相对对称的，若左右信号高低差超过设定阈值，则说明不是正常眨眼；
S502、步骤S501完成后，进行相对精确的判断，使用标准的逻辑回归分类器，从眨眼特征向量到是否眨眼进行分类判断。
6.根据权利要求5所述的人体疲劳检测设备，其特征在于，步骤S502中，眨眼特征向量归属于眨眼的概率为：
Figure FDA0003102101900000031
其中，y为样本x所属的标签，ω与b为分类器的参数，T为转置符；
定义数据标签1代表眨眼，0代表非眨眼；如果P(Y＝1)＞0.5，判断为真正的眨眼，P为样本数据为1或0的概率，Y为当前样本。
7.根据权利要求1所述的人体疲劳检测设备，其特征在于，对疲劳状态进行估计和判断中，当PERCLOS值β≥0.4时，视为疲劳状态。
CN202010157776.XA 2020-03-09 2020-03-09 一种基于嵌入式设备的细粒度人体疲劳检测方法及设备 Active CN111281403B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010157776.XA CN111281403B (zh) 2020-03-09 2020-03-09 一种基于嵌入式设备的细粒度人体疲劳检测方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010157776.XA CN111281403B (zh) 2020-03-09 2020-03-09 一种基于嵌入式设备的细粒度人体疲劳检测方法及设备

Publications (2)

Publication Number Publication Date
CN111281403A CN111281403A (zh) 2020-06-16
CN111281403B true CN111281403B (zh) 2021-08-13

Family

ID=71020395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010157776.XA Active CN111281403B (zh) 2020-03-09 2020-03-09 一种基于嵌入式设备的细粒度人体疲劳检测方法及设备

Country Status (1)

Country Link
CN (1) CN111281403B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686927B (zh) * 2020-12-31 2023-05-12 上海易维视科技有限公司 人眼位置回归计算方法
WO2023184068A1 (zh) * 2022-03-28 2023-10-05 京东方科技集团股份有限公司 瞳孔信息采集电路及方法、显示装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002355238A (ja) * 2001-05-30 2002-12-10 Nippon Hoso Kyokai <Nhk> 瞬き検出装置
CN104757981A (zh) * 2015-03-16 2015-07-08 于莹光 一种高灵敏收发一体红外检测驾驶员疲劳度的方法及装置
CN105006105A (zh) * 2015-08-04 2015-10-28 三峡大学 一种基于红外探测的眼睛状态识别装置及方法
CN106388770A (zh) * 2015-07-28 2017-02-15 庄臣及庄臣视力保护公司 具有带睁眼提示和数据记录功能的闭眼传感器的电子式眼科镜片
CN108294745A (zh) * 2018-03-07 2018-07-20 武汉大学 多导联心电图信号中p波、t波起止点检测方法及系统
CN109419507A (zh) * 2017-08-31 2019-03-05 丰田自动车株式会社 眨眼检测装置
CN110477927A (zh) * 2019-09-18 2019-11-22 歌尔科技有限公司 一种主动眨眼检测方法、装置、设备及可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002513176A (ja) * 1998-04-29 2002-05-08 カーネギー−メロン ユニバーシティ ２つの異なる波長の光を用いて対象者の眼を監視する装置および方法
US7202793B2 (en) * 2002-10-11 2007-04-10 Attention Technologies, Inc. Apparatus and method of monitoring a subject and providing feedback thereto
EP2237237B1 (en) * 2009-03-30 2013-03-20 Tobii Technology AB Eye closure detection using structured illumination
CN101692980B (zh) * 2009-10-30 2011-06-08 深圳市汉华安道科技有限责任公司 疲劳驾驶检测方法及装置
US20150015400A1 (en) * 2013-07-11 2015-01-15 L&P Property Management Company Computer-Aided System Detecting Operator Fatigue (CASDOF)
CN105049596B (zh) * 2015-06-01 2018-09-07 惠州Tcl移动通信有限公司 一种移动终端及其疲劳状态检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002355238A (ja) * 2001-05-30 2002-12-10 Nippon Hoso Kyokai <Nhk> 瞬き検出装置
CN104757981A (zh) * 2015-03-16 2015-07-08 于莹光 一种高灵敏收发一体红外检测驾驶员疲劳度的方法及装置
CN106388770A (zh) * 2015-07-28 2017-02-15 庄臣及庄臣视力保护公司 具有带睁眼提示和数据记录功能的闭眼传感器的电子式眼科镜片
CN105006105A (zh) * 2015-08-04 2015-10-28 三峡大学 一种基于红外探测的眼睛状态识别装置及方法
CN109419507A (zh) * 2017-08-31 2019-03-05 丰田自动车株式会社 眨眼检测装置
CN108294745A (zh) * 2018-03-07 2018-07-20 武汉大学 多导联心电图信号中p波、t波起止点检测方法及系统
CN110477927A (zh) * 2019-09-18 2019-11-22 歌尔科技有限公司 一种主动眨眼检测方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN111281403A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
EP3617815B1 (en) Work support device, work support method, and work support program
CN107979985B (zh) 一种车载健康安全驾驶辅助装置
Di Rosa et al. Concurrent validation of an index to estimate fall risk in community dwelling seniors through a wireless sensor insole system: A pilot study
US20150245777A1 (en) Detection of emotional states
US20210225510A1 (en) Human body health assessment method and system based on sleep big data
CN111281403B (zh) 一种基于嵌入式设备的细粒度人体疲劳检测方法及设备
CN106413529A (zh) 光学压力传感器
CN111598451B (zh) 基于任务执行能力的操控工效分析方法、设备及系统
CN113589554A (zh) 一种监测用眼状况的智能眼镜及监测方法
CN109009017A (zh) 一种智能健康监测系统及其数据处理方法
CN110063736B (zh) 基于MOD-Net网络的眼动参数监测的疲劳检测及促醒系统
CN110706816A (zh) 一种基于人工智能进行睡眠环境调控的方法及设备
CN109119172B (zh) 一种基于蜂群算法的人体行为检测方法
CN116440425B (zh) 一种led光动力治疗仪的智能调节方法及系统
CN109124655A (zh) 精神状态分析方法、装置、设备、计算机介质及多功能椅
CN109567832A (zh) 一种基于智能手环的检测愤怒驾驶状态的方法及系统
Przybyło A deep learning approach for remote heart rate estimation
CN113111745B (zh) 基于openpose的产品关注度的眼动识别的方法
CN111012345A (zh) 眼部疲劳度检测系统及方法
Wahl et al. WISEglass: Smart eyeglasses recognising context
CN112370058A (zh) 一种基于移动端对用户的情感进行识别与监测方法
US20200337567A1 (en) Systems and Methods of Arrhythmia Detection
CN209932735U (zh) 可穿戴式智能设备
CN106308771A (zh) 一种心电监测系统
TWI759218B (zh) 非接觸式心律類別監測系統及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant